Tenstorrent, società di chip guidata da Jim Keller, ha rilasciato il suo processore Wormhole di prossima generazione per carichi di lavoro AI, che si prevede offrirà buone prestazioni a un prezzo accessibile.L'azienda offre attualmente due schede PCIe aggiuntive che possono ospitare uno o due processori Wormhole, nonché workstation TT-LoudBox e TT-QuietBox per gli sviluppatori di software. Tutti gli annunci di oggi sono rivolti agli sviluppatori, non a coloro che utilizzano le schede Wormhole per carichi di lavoro commerciali.
“È sempre gratificante mettere una parte maggiore dei nostri prodotti nelle mani degli sviluppatori. I sistemi di sviluppo rilasciati utilizzando le nostre carte Wormhole™ possono aiutare gli sviluppatori a scalare e sviluppare software AI multi-chip", ha affermato Jim Keller, CEO di Tenstorrent.Oltre a questo lancio, siamo entusiasti di vedere i progressi che stiamo facendo con l’uscita del nastro e l’accensione del nostro prodotto di seconda generazione, Blackhole”.
Ogni processore Wormhole contiene 72 core Tensix (cinque dei quali supportano core RISC-V in vari formati di dati) e 108 MB di SRAM, offrendo 262 TFLOPS FP8 a 1 GHz con una potenza di progettazione termica di 160 W. La scheda Wormhole n150 a chip singolo è dotata di 12 GB di memoria video GDDR6 e ha una larghezza di banda di 288 GB/s.
I processori wormhole forniscono scalabilità flessibile per soddisfare le diverse esigenze dei carichi di lavoro. In una configurazione workstation standard con quattro schede Wormhole n300, i processori possono essere combinati in una singola unità che appare nel software come un'ampia e unificata rete Tensix core. Questa configurazione consente all'acceleratore di gestire lo stesso carico di lavoro, suddiviso tra quattro sviluppatori o eseguire fino a otto diversi modelli di intelligenza artificiale contemporaneamente. Una caratteristica fondamentale di questa scalabilità è che può essere eseguito localmente senza la necessità di virtualizzazione. In un ambiente data center, i processori Wormhole utilizzeranno PCIe per l'espansione all'interno della macchina o Ethernet per l'espansione esterna.
In termini di prestazioni, la scheda Wormhole n150 a chip singolo di Tenstorrent (72 core Tensix, frequenza 1 GHz, 108 MB SRAM, 12 GB GDDR6, larghezza di banda 288 GB/s) ha raggiunto 262 TFLOPS FP8 a 160 W, mentre la scheda Wormhole n300 a chip singolo (128 core Tensix, frequenza 1 GHz, 192 MB SRAM, 24 GB GDDR6 aggregati, larghezza di banda 576 GB/s) offre fino a 466 TFLOPS FP8 a 300 W.
Per contestualizzare i 300 W di 466 FP8 TFLOPS, li confronteremo con ciò che Nvidia, leader del mercato AI, offre a questa potenza di progettazione termica. L'A100 di Nvidia non supporta FP8, ma supporta INT8, con prestazioni di picco di 624 TOPS (1.248 TOPS quando sparse). In confronto, l'H100 di Nvidia supporta FP8 e raggiunge prestazioni di picco di 1.670 TFLOPS a 300 W (3.341 TFLOPS a livello sparse), che è significativamente diverso dal Wormhole n300 di Tenstorrent.
Tuttavia, c’è un grosso problema. Il Wormhole n150 di Tenstorrent viene venduto al dettaglio per $ 999, mentre l'n300 viene venduto per $ 1.399. In confronto, una singola scheda grafica Nvidia H100 viene venduta al dettaglio per $ 30.000, a seconda della quantità. Ovviamente non sappiamo se quattro o otto processori Wormhole possano effettivamente fornire le prestazioni di un singolo H300, ma i loro TDP sono rispettivamente di 600 W e 1200 W.
Oltre alle schede, Tenstorrent offre workstation predefinite per gli sviluppatori, incluse 4 schede n300 nel più conveniente TT-LoudBox basato su Xeon con raffreddamento attivo e l'avanzato TT-QuietBox con Xiaolong basato su EPYC (funzione di raffreddamento a liquido).
Orario di pubblicazione: 29 luglio 2024