Tenstorrent, azienda produttrice di chip guidata da Jim Keller, ha rilasciato il suo processore Wormhole di nuova generazione per carichi di lavoro di intelligenza artificiale, che si aspetta di offrire buone prestazioni a un prezzo accessibile.L'azienda offre attualmente due schede PCIe aggiuntive che possono ospitare uno o due processori Wormhole, nonché le workstation TT-LoudBox e TT-QuietBox per gli sviluppatori software. Tutti gli annunci di oggi sono rivolti agli sviluppatori, non a coloro che utilizzano le schede Wormhole per carichi di lavoro commerciali.
"È sempre gratificante mettere a disposizione degli sviluppatori un numero sempre maggiore di nostri prodotti. I sistemi di sviluppo release che utilizzano le nostre schede Wormhole™ possono aiutare gli sviluppatori a scalare e sviluppare software di intelligenza artificiale multi-chip", ha affermato Jim Keller, CEO di Tenstorrent.Oltre a questo lancio, siamo entusiasti di vedere i progressi che stiamo facendo con la registrazione e l'accensione del nostro prodotto di seconda generazione, Blackhole."
Ogni processore Wormhole contiene 72 core Tensix (cinque dei quali supportano core RISC-V in vari formati di dati) e 108 MB di SRAM, per una potenza di elaborazione di 262 TFLOPS FP8 a 1 GHz con un TDP (Thermal Design Power) di 160 W. La scheda Wormhole n150 a chip singolo è dotata di 12 GB di memoria video GDDR6 e ha una larghezza di banda di 288 GB/s.
I processori Wormhole offrono una scalabilità flessibile per soddisfare le diverse esigenze dei carichi di lavoro. In una configurazione standard di una workstation con quattro schede Wormhole n300, i processori possono essere combinati in un'unica unità che appare nel software come una rete core Tensix unificata e ampia. Questa configurazione consente all'acceleratore di gestire lo stesso carico di lavoro, di suddividerlo tra quattro sviluppatori o di eseguire fino a otto diversi modelli di intelligenza artificiale contemporaneamente. Una caratteristica chiave di questa scalabilità è la possibilità di esecuzione locale senza la necessità di virtualizzazione. In un ambiente di data center, i processori Wormhole utilizzeranno PCIe per l'espansione interna alla macchina o Ethernet per l'espansione esterna.
In termini di prestazioni, la scheda Wormhole n150 a chip singolo di Tenstorrent (72 core Tensix, frequenza 1 GHz, 108 MB SRAM, 12 GB GDDR6, larghezza di banda 288 GB/s) ha raggiunto 262 FP8 TFLOPS a 160 W, mentre la scheda Wormhole n300 a doppio chip (128 core Tensix, frequenza 1 GHz, 192 MB SRAM, 24 GB GDDR6 aggregati, larghezza di banda 576 GB/s) offre fino a 466 FP8 TFLOPS a 300 W.
Per contestualizzare 300 W con 466 TFLOPS FP8, li confronteremo con ciò che Nvidia, leader del mercato dell'intelligenza artificiale, offre a questo TDP (Thermal Design Power). La scheda madre A100 di Nvidia non supporta FP8, ma supporta INT8, con prestazioni di picco di 624 TOPS (1.248 TOPS in modalità sparse). A titolo di confronto, la scheda madre H100 di Nvidia supporta FP8 e raggiunge prestazioni di picco di 1.670 TFLOPS a 300 W (3.341 TFLOPS in modalità sparse), un valore significativamente diverso da quello della Wormhole n300 di Tenstorrent.
Tuttavia, c'è un problema importante. Il Wormhole n150 di Tenstorrent viene venduto a 999 dollari, mentre l'n300 a 1.399 dollari. A titolo di paragone, una singola scheda grafica Nvidia H100 viene venduta a 30.000 dollari, a seconda della quantità. Naturalmente, non sappiamo se quattro o otto processori Wormhole possano effettivamente offrire le prestazioni di un singolo H300, ma i loro TDP sono rispettivamente di 600 W e 1200 W.
Oltre alle schede, Tenstorrent offre workstation pre-assemblate per gli sviluppatori, tra cui 4 schede n300 nel TT-LoudBox basato su Xeon più economico con raffreddamento attivo e nel TT-QuietBox avanzato con funzione di raffreddamento a liquido Xiaolong basato su EPYC.
Data di pubblicazione: 29 luglio 2024