La compagnia di chip guidata da Jim Keller Tenstorent ha rilasciato il suo processore Wormhole di prossima generazione per i carichi di lavoro AI, che si aspetta di offrire buone prestazioni a un prezzo accessibile.L'azienda attualmente offre altre due carte PCIe in grado di ospitare uno o due processori Wormhole, nonché stazioni di lavoro TT-Loudbox e TT-QUIETBOX per gli sviluppatori di software. Tutti gli annunci di oggi sono rivolti agli sviluppatori, non a quelli che utilizzano le schede Wormhole per i carichi di lavoro commerciali.
"È sempre gratificante mettere più dei nostri prodotti nelle mani degli sviluppatori. I sistemi di sviluppo di rilascio che utilizzano le nostre carte Wormhole ™ possono aiutare gli sviluppatori a scalare e sviluppare software AI multi-chip", ha affermato Jim Keller, CEO di Tenstorent.Oltre a questo lancio, siamo entusiasti di vedere i progressi che stiamo facendo con il nastro e l'accensione del nostro prodotto di seconda generazione, Blackhole. "
Ogni processore Wormhole contiene 72 core Tensix (cinque dei quali supportano i core RISC-V in vari formati di dati) e 108 MB di SRAM, fornindo 262 TFLOP di 262 fp8 a 1 GHz con una potenza di progettazione termica di 160 W. La scheda Wormhole N150 a chip singolo è dotata di memoria video GDDR6 da 12 GB e ha una larghezza di banda di 288 GB/s.
I processori Wormhole offrono una scalabilità flessibile per soddisfare le diverse esigenze dei carichi di lavoro. In una configurazione standard di workstation con quattro carte Wormhole N300, i processori possono essere combinati in una singola unità che appare nel software come una rete unificata e ampia di Tensix. Questa configurazione consente all'acceleratore di gestire lo stesso carico di lavoro, diviso tra quattro sviluppatori o eseguire contemporaneamente fino a otto diversi modelli AI. Una caratteristica chiave di questa scalabilità è che può funzionare localmente senza la necessità di virtualizzazione. In un ambiente di data center, i processori Wormhole utilizzeranno PCIe per l'espansione all'interno della macchina o Ethernet per l'espansione esterna.
In termini di prestazioni, la carta Wormhole a chip singolo di Tenstorent (72 core di tensione, frequenza 1 GHz, 108 MB SRAM, 12 GB GDDR6, 288 GB/S larghetta di banda) ha raggiunto 262 fp8 tflops a 160w, mentre il bordo Wormhole a doppio chip (128 TENSIX, 1 ghz SHROPS, 1 Ghz SHROPS, 192 MBS, GDDR6 aggregato 24 GB, 576 GB/S Larghezza di banda) offre fino a 466 TFP8 a 300 W.
Per mettere in contesto 300 W di 466 TFP8 TFPOPS, lo confronteremo con ciò che il leader del mercato AI Nvidia offre a questo potere di progettazione termica. L'A100 di NVIDIA non supporta FP8, ma supporta INT8, con le prestazioni di picco di 624 tops (1.248 top quando sparse). In confronto, l'H100 di Nvidia supporta FP8 e raggiunge le prestazioni di picco di 1.670 TFLOP a 300 W (3.341 TFLOPS a Sparse), che è significativamente diverso dal Wormhole N300 di Tenstorent.
Tuttavia, c'è un problema grave. Il wormhole di Tenstorent N150 viene venduto per $ 999, mentre l'N300 vende per $ 1.399. In confronto, una singola scheda grafica Nvidia H100 viene venduta per $ 30.000, a seconda della quantità. Naturalmente, non sappiamo se quattro o otto processori Wormhole possano effettivamente offrire le prestazioni di un singolo H300, ma i loro TDP sono rispettivamente di 600 W e 1200 W.
Oltre alle carte, Tenstorrent offre workstation pre-costruite per gli sviluppatori, tra cui 4 carte N300 nella funzione di raffreddamento attivo TT-Loud-Loud a base di Xeon più conveniente e la funzione di raffreddamento a vitale a base di EPYC con Xiaolong).
Tempo post: lug-29-2024