AMD e Nvidia si contendono il titolo di produttore dei migliori chip acceleratori Neural Processing Unit (NPU). Con il lancio del nuovo acceleratore AI MI300X, AMD ha affermato che potrebbe eguagliare o addirittura superare le prestazioni del chip H100 di Nvidia 1,6x. Ma Nvidia non ha apprezzato il confronto e ha risposto con benchmark che suggeriscono che il suo chip H100 ha prestazioni significativamente migliori rispetto al chip MI300X se valutato tenendo presente i miglioramenti. AMD ha appena rilasciato una nuova risposta che suggerisce che il suo chip MI300X ha prestazioni superiori del 30% prestazioni rispetto all’H100.
MI300X vs H100: AMD e Nvidia difendono la massima potenza IA
Un’unità di elaborazione neurale è un microprocessore specializzato nell’accelerazione degli algoritmi di apprendimento automatico, solitamente lavorando su modelli predittivi come reti neurali artificiali (ANN) o foreste casuali. È noto anche come processore neurale o acceleratore di intelligenza artificiale. Questi processori di intelligenza artificiale hanno registrato una crescita reale negli ultimi anni a causa delle crescenti esigenze informatiche delle aziende di intelligenza artificiale e dell’emergere di modelli linguistici di grandi dimensioni (LLM). Finora Nvidia ha ampiamente dominato il mercato.
Tuttavia, Santa Clara è sempre più seguita dal suo concorrente AMD. Per ridurre ancora un po’ il divario con Nvidia, AMD
Almeno inizialmente, c’è un nuovo acceleratore AI chiamato Instinct MI300X. Il CEO di AMD Lisa Su e i suoi colleghi hanno mostrato le prestazioni dell’MI300X confrontandole con le prestazioni di inferenza dell’H100 di Nvidia utilizzando Llama 2. Secondo il confronto, un singolo server AMD, composto da otto MI300X, sarebbe 1,6 volte più veloce di un H100 server. Ma Nvidia non ha apprezzato il paragone e lo ha smentito. In un post sul blog pubblicato in risposta ai benchmark di AMD, Nvidia ha contestato i risultati del suo concorrente.
In contrasto con l’offerta di AMD, Nvidia afferma che il suo chip H100, se valutato correttamente utilizzando un software ottimizzato, supera l’MI300X con un margine significativo. Nvidia ha affermato che AMD non è riuscita a incorporare i suoi miglioramenti rispetto a TensorRT-LLM. Sviluppato da Nvidia, TensorRT-LLM è un toolbox di assemblaggio di soluzioni ottimizzato per eseguire inferenza per modelli linguistici di grandi dimensioni. Nel suo articolo, la risposta di Nvidia è stata quella di confrontare una singola GPU H100 con le GPU H100 a otto vie che eseguono il modello Llama 2 70B cat. I risultati ottenuti sono sorprendenti.
I risultati, ottenuti utilizzando il software di pre-presentazione di AMD, hanno mostrato prestazioni due volte più veloci per una dimensione batch pari a 1. Inoltre, applicando la latenza standard di 2,5 secondi utilizzata da AMD, Nvidia è emersa come leader indiscusso, battendo l’MI300X con un margine impressionante. . Fattore 14. Com’è possibile? di base. AMD non ha utilizzato il software Nvidia, che è ottimizzato per migliorare le prestazioni sull’hardware Nvidia. Santa Clara nota che AMD ha utilizzato software alternativo che non supporta il driver dell’adattatore del chip H100 (Hopper).
Sebbene TensorRT-LLM sia disponibile gratuitamente su GitHub, i recenti benchmark AMD hanno utilizzato software alternativo che non supporta ancora il motore Transformer di Hopper e non contiene questi miglioramenti, afferma Nvidia. Inoltre, AMD non ha sfruttato il software TensorRT-LLM di Nvidia rilasciato a settembre, che raddoppia le prestazioni di inferenza su LLM, né il motore di inferenza Triton. Pertanto, l’assenza di TensorRT-LLM, Transformer Engine e Triton ha comportato prestazioni non ottimali. Secondo i critici, poiché AMD non dispone di un software equivalente, ha ritenuto che questa fosse una misura migliore.
AMD rilascia nuovi benchmark che mostrano che l’MI300X supera l’H100
Sorprendentemente, AMD ha risposto alla sfida di Nvidia con nuovi benchmark prestazionali per il chip MI300X, mostrando un aumento delle prestazioni del 30% rispetto al chip H100, anche con uno stack software ottimizzato. Rispecchiando le condizioni di test di Nvidia con TensorRT-LLM, AMD ha adottato un approccio proattivo tenendo conto della latenza, un fattore comune nei carichi di lavoro dei server. AMD ha sottolineato i punti chiave della sua argomentazione, evidenziando in particolare i vantaggi dell’FP16 che utilizza vLLM rispetto all’FP8, che è proprietario di TensorRT-LLM.
AMD ha affermato che Nvidia ha utilizzato un insieme selettivo di carichi di lavoro di inferenza. La società ha anche affermato che Nvidia ha utilizzato il proprio TensorRT-LLM sull’H100 invece di vLLM, un metodo open source ampiamente utilizzato. Inoltre, Nvidia ha utilizzato il tipo di dati sulle prestazioni vLLM FP16 su AMD confrontando i suoi risultati con il DGX-H100, che utilizzava TensorRT-LLM con il tipo di dati FP8 per visualizzare questi risultati presumibilmente interpretati erroneamente. AMD ha confermato di aver utilizzato vLLM nei suoi test con il set di dati FP16 a causa del suo utilizzo diffuso e che vLLM non supporta FP8.
Un altro punto di contesa tra le due società riguarda la latenza negli ambienti server. AMD critica Nvidia per essersi concentrata esclusivamente sulle prestazioni di throughput senza affrontare i problemi di latenza del mondo reale. Quindi, per contrastare il metodo di test di Nvidia, AMD ha eseguito tre benchmark utilizzando il set di strumenti TensorRT-LLM di Nvidia, con il test finale che misura specificamente la latenza tra MI300X e vLLM utilizzando il set di dati FP16 rispetto a H100 con TensorRT-LLM. I nuovi test AMD hanno mostrato prestazioni migliorate e latenza ridotta.
AMD ha implementato ulteriori ottimizzazioni, risultando in un aumento delle prestazioni di 2,1 volte rispetto all’H100 quando si esegue vLLM su entrambe le piattaforme. Tocca ora a Nvidia valutare come reagisce. Ma l’azienda deve anche rendersi conto che ciò costringerebbe l’industria ad abbandonare l’FP16 con un sistema TensorRT-LLM chiuso per utilizzare l’FP8, il che significherebbe abbandonare per sempre vLLM.
Il mercato dell’hardware AI si sta sviluppando molto rapidamente e la concorrenza è intensa
La competizione tra Nvidia e AMD va avanti da molto tempo. Ma è interessante notare che questa è la prima volta che Nvidia decide di confrontare direttamente le prestazioni dei suoi prodotti con quelle dei prodotti AMD. Ciò indica chiaramente che la concorrenza in questo campo si sta intensificando. Inoltre i due giganti delle pulci non sono gli unici a cercare di ritagliarsi un posto sul mercato. Anche altri, come Cerebras Systems e Intel, ci stanno lavorando. Il CEO di Intel Pat Gelsinger ha annunciato il chip AI Gaudi3 all’ultimo evento AI Everywhere. Tuttavia, sono state rivelate pochissime informazioni su questo processore.
Allo stesso modo, l’H100 presto sarà irrilevante. Nvidia dovrebbe introdurre il chipset GH200 all’inizio del prossimo anno, che sostituirà l’H100. AMD non ha confrontato i suoi nuovi chip con quest’ultimo, ma con l’H100. È chiaro che le prestazioni del nuovo chip GH200 saranno superiori a quelle dei chip precedenti. Poiché la concorrenza è così intensa, AMD potrebbe finire per essere trattata come un’opzione di riserva da molte aziende, tra cui Meta, Microsoft e Oracle. A questo proposito, Microsoft e Meta hanno recentemente annunciato che stanno valutando la possibilità di integrare i chip AMD nei loro data center.
Gelsinger prevede che il mercato delle GPU raggiungerà circa 400 miliardi di dollari entro il 2027, quindi c’è spazio per molti concorrenti. Da parte sua, Andrew Feldman, CEO di Cerebras, ha denunciato le presunte pratiche monopolistiche di Nvidia durante l’evento Global AI Conclave. Trascorriamo il nostro tempo cercando modi per essere migliori di Nvidia. “Entro il prossimo anno costruiremo 36 exaflop di potenza di calcolo basata sull’intelligenza artificiale”, ha affermato riferendosi ai piani dell’azienda. Secondo quanto riferito, Feldman è anche in trattative con il governo indiano per potenziare l’informatica basata sull’intelligenza artificiale nel paese.
La società ha anche firmato un accordo da 100 milioni di dollari per acquistare un supercomputer AI con G42, una startup AI con sede negli Emirati Arabi Uniti, dove Nvidia non è autorizzata a operare. Per quanto riguarda la battaglia tra Nvidia e AMD, i rapporti indicano che le specifiche FLOP dell’MI300X sono migliori di quelle della Nvidia H100 e che l’MI300X ha anche più memoria HBM. Tuttavia, è necessario un software ottimizzato per eseguire il chip AI e tradurre quella potenza e quei byte in valore per il cliente. Il programma AMD ROCm ha fatto progressi significativi, ma AMD ha ancora molta strada da fare, come sottolinea un recensore.
Un altro accoglie con favore l’intensificarsi della rivalità tra AMD e Nvidia: è bello vedere AMD competere con Nvidia. Tutti ne trarranno beneficio, inclusa Nvidia, che non può produrre abbastanza GPU per soddisfare la domanda del mercato ed è meno propensa a riposare sugli allori.
E tu?
qual è la tua opinione su questo argomento? Cosa ne pensate dei chipset AMD MI300X e Nvidia H100? Che paragoni fai tra gli acceleratori IA? Secondo voi il chip MI300X di AMD riuscirà ad imporsi sul mercato? Pensi che il chip H200 permetterà a Nvidia di prendere ancora una volta le distanze dalla concorrenza? Riusciranno Cerebras e Intel a superare Nvidia nel mercato delle GPU nel prossimo futuro? Cosa ne pensi delle accuse secondo cui Nvidia utilizza pratiche antitrust per mantenere il suo monopolio?
Guarda anche
AMD annuncia Instinct MI300, acceleratori di intelligenza artificiale generativa e APU per data center che offrono prestazioni fino a 1,3 volte migliorate nei carichi di lavoro di intelligenza artificiale
Meta e Microsoft hanno annunciato che acquisteranno il nuovo chip AI di AMD per sostituire il chip di Nvidia
AMD acquisisce Nod.ai, una startup di software AI, nel tentativo di potenziare le proprie capacità software e raggiungere Nvidia.
“Creatore di problemi. Appassionato di social media. Appassionato di musica. Specialista di cultura pop. Creatore.”
