Tenstorrent, azienda di chip guidata da Jim Keller, ha lanciato il suo processore Wormhole di nuova generazione per carichi di lavoro di intelligenza artificiale, che, secondo le previsioni, offrirà buone prestazioni a un prezzo accessibile.Attualmente l'azienda offre due schede PCIe aggiuntive in grado di ospitare uno o due processori Wormhole, nonché le workstation TT-LoudBox e TT-QuietBox per gli sviluppatori di software. Tutti gli annunci odierni sono rivolti agli sviluppatori, non a coloro che utilizzano le schede Wormhole per carichi di lavoro commerciali.
"È sempre gratificante poter mettere a disposizione degli sviluppatori un numero sempre maggiore dei nostri prodotti. I sistemi di sviluppo che utilizzano le nostre schede Wormhole™ possono aiutare gli sviluppatori a scalare e sviluppare software di intelligenza artificiale multi-chip", ha dichiarato Jim Keller, CEO di Tenstorrent.Oltre a questo lancio, siamo entusiasti di constatare i progressi che stiamo compiendo con la fase di produzione e l'accensione del nostro prodotto di seconda generazione, Blackhole."
Ogni processore Wormhole contiene 72 core Tensix (cinque dei quali supportano core RISC-V in vari formati dati) e 108 MB di SRAM, offrendo 262 TFLOPS FP8 a 1 GHz con un TDP (Thermal Design Power) di 160 W. La scheda Wormhole n150 a chip singolo è dotata di 12 GB di memoria video GDDR6 e ha una larghezza di banda di 288 GB/s.
I processori Wormhole offrono una scalabilità flessibile per soddisfare le diverse esigenze dei carichi di lavoro. In una configurazione standard di workstation con quattro schede Wormhole n300, i processori possono essere combinati in un'unica unità che nel software appare come una rete core Tensix unificata e ampia. Questa configurazione consente all'acceleratore di gestire lo stesso carico di lavoro, di suddividerlo tra quattro sviluppatori o di eseguire fino a otto diversi modelli di intelligenza artificiale contemporaneamente. Una caratteristica fondamentale di questa scalabilità è la possibilità di funzionare localmente senza la necessità di virtualizzazione. In un ambiente data center, i processori Wormhole utilizzano PCIe per l'espansione interna alla macchina o Ethernet per l'espansione esterna.
In termini di prestazioni, la scheda Wormhole n150 a chip singolo di Tenstorrent (72 core Tensix, frequenza di 1 GHz, 108 MB di SRAM, 12 GB di GDDR6, larghezza di banda di 288 GB/s) ha raggiunto 262 TFLOPS FP8 a 160 W, mentre la scheda Wormhole n300 a doppio chip (128 core Tensix, frequenza di 1 GHz, 192 MB di SRAM, 24 GB di GDDR6 aggregati, larghezza di banda di 576 GB/s) offre fino a 466 TFLOPS FP8 a 300 W.
Per contestualizzare i 300 W di 466 TFLOPS in FP8, li confronteremo con quanto offerto da Nvidia, leader del mercato dell'IA, a questo livello di potenza di progettazione termica. La A100 di Nvidia non supporta FP8, ma supporta INT8, con prestazioni di picco di 624 TOPS (1.248 TOPS in modalità sparse). In confronto, la H100 di Nvidia supporta FP8 e raggiunge prestazioni di picco di 1.670 TFLOPS a 300 W (3.341 TFLOPS in modalità sparse), un valore significativamente diverso da quello della Wormhole n300 di Tenstorrent.
Tuttavia, c'è un problema importante. Il Wormhole n150 di Tenstorrent ha un prezzo di listino di 999 dollari, mentre l'n300 costa 1.399 dollari. Per fare un confronto, una singola scheda grafica Nvidia H100 ha un prezzo di listino di 30.000 dollari, a seconda della quantità. Naturalmente, non sappiamo se quattro o otto processori Wormhole possano effettivamente offrire le prestazioni di una singola H300, ma i loro TDP sono rispettivamente di 600 W e 1.200 W.
Oltre alle schede, Tenstorrent offre workstation preassemblate per sviluppatori, tra cui 4 schede n300 nella più economica TT-LoudBox basata su Xeon con raffreddamento attivo e la più avanzata TT-QuietBox con funzione di raffreddamento a liquido basata su EPYC (Xiaolong).
Data di pubblicazione: 29 luglio 2024