Blog

Aug 29, 2023

Il chip Nvidia H100 è il più ricercato al mondo

Sembra che tutti vogliano mettere le mani sui chip H100 di Nvidia in questi giorni. Microsoft e Google, che stanno sviluppando motori di ricerca generativi basati sull’intelligenza artificiale, sono alcuni dei maggiori clienti

Sembra che tutti vogliano mettere le mani sui chip H100 di Nvidia in questi giorni.

Microsoft e Google, che stanno sviluppando motori di ricerca generativi basati sull'intelligenza artificiale, sono alcuni dei maggiori clienti dei chip H100 di Nvidia. Produttori di server affermano di aver aspettato più di sei mesi per ricevere i loro ultimi ordini. Gli investitori in capitale di rischio stanno acquistando chip H100 per le startup in cui investono.

Ma non sono solo le aziende tecnologiche a cercare di assicurarsi gli H100: secondo il Financial Times, che ha citato fonti anonime, l'Arabia Saudita e gli Emirati Arabi Uniti avrebbero accaparrato migliaia di questi chip da 40.000 dollari per costruire le proprie applicazioni di intelligenza artificiale.

Questa forte richiesta di un chip da parte di un'azienda ha portato a una sorta di frenesia di acquisti. "Chi riceverà quanti H100 e quando è il gossip più diffuso", come ha scritto Andrej Karpathy di OpenAI in un post su Twitter.

Persino Elon Musk, ossessionato dalla lotta contro Mark Zuckerberg, ha trovato il tempo per commentare la scarsità dei chip di Nvidia. (Musk non specifica se si riferisce ai chip H100, che hanno debuttato l'anno scorso, o ai chip di Nvidia in generale. Ma i chip per l'intelligenza artificiale sono certamente di gran moda in questo momento.) La Tesla di Musk sta spendendo 1 miliardo di dollari per costruire un nuovo supercomputer chiamato Dojo , per addestrare la propria flotta di veicoli autonomi ed elaborarne i dati. Il piano del Dojo è iniziato, ha detto Musk, solo perché Tesla non ne aveva abbastanza GPU Nvidia: unità di elaborazione grafica, come vengono chiamati questi chip. "Francamente... se potessero fornirci abbastanza GPU, potremmo non aver bisogno di Dojo", ha detto Musk a investitori e analisti in una teleconferenza a luglio. “Hanno così tanti clienti. Sono stati comunque così gentili da dare priorità ad alcuni dei nostri ordini di GPU."

Se Tesla fosse stata in grado di ricevere da Nvidia il numero di chip richiesto, quei chip sarebbero stati inseriti in computer specializzati che avrebbero addestrato la grande quantità di dati video necessari, secondo Musk, per ottenere una “soluzione generalizzata per l’autonomia”. "

I dati devono essere elaborati in qualche modo. Quindi Dojo è progettato per essere ottimizzato per la formazione video, non per i sistemi di intelligenza artificiale generativa, per elaborare la quantità di dati necessari per i veicoli a guida autonoma, ha affermato Musk, che è importante per ottenere una guida autonoma più sicura della guida umana.

I modelli linguistici di grandi dimensioni (LLM) vengono addestrati su enormi quantità di dati per generare risposte complesse alle domande. Ma l’integrazione degli LLM in applicazioni del mondo reale come i motori di ricerca richiede molta potenza di calcolo.

In uno studio, i ricercatori dell’Università di Washington e dell’Università di Sydney hanno analizzato gli elevati costi di gestione dei LLM. Google elabora oltre 99.000 query di ricerca al secondo. Se GPT-3 dovesse essere incorporato in ogni query e presupponendo che ciascuna query generi 500 token, ovvero oggetti che rappresentano il diritto di eseguire alcune operazioni, Google avrebbe bisogno di circa 2,7 miliardi di GPU A100, un vecchio chip AI di Nvidia, per mantenere su. Secondo le stime dei ricercatori, il costo di queste GPU supererebbe i 40 miliardi di dollari solo in termini di spese in conto capitale.

Ciò di cui Google e altre aziende hanno bisogno è un chip più potente che funzioni meglio allo stesso prezzo o a un prezzo inferiore, ha affermato Willy Shih, professore di pratiche gestionali alla Harvard Business School e che in precedenza ha lavorato presso IBM e Silicon Valley Graphics. Inserisci la Nvidia H100, che prende il nome dall'informatica Grace Hopper. L'H100 è progettato su misura per l'intelligenza artificiale generativa e funziona più velocemente rispetto ai modelli precedenti. Più potenti sono i chip, più velocemente sarà possibile elaborare le query, ha affermato Shih.

La richiesta di chip IA ad alte prestazioni è stata un vantaggio per Nvidia, che comanda il mercato, in parte grazie alla fortuna, mentre i concorrenti si affrettano a recuperare il ritardo.

Poiché le startup di intelligenza artificiale generativa lavorano per espandersi e si ritrovano a corto di H100, ciò offre opportunità per i concorrenti, come Amazon e Google, che stanno lavorando alla costruzione dei propri chip simili a Nvidia, per essere all’altezza della situazione. I chip di Amazon si chiamano Inferentia e Tranium; Quelle di Google sono unità di elaborazione tensore.