英偉達的挑戰者登場!近日,美國企業Groq公布新型Al芯片(LPU)爆火全網,推理速度較英偉達GPU提高10倍,成本只有英偉達的1/10。Groq主打一個「快」,每秒能輸出500個tokens(註:語言模型中用來表示最小文本單元)。相比之下,ChatGPT-3.5每秒生成速度為40個tokens。有芯片專家認為,Groq的芯片目前並不能取代英偉達,Groq極高的速度是建立在很有限的單卡吞吐能力上,要保證H100同樣吞吐量,則需要更多的卡,成本要比英偉達高出不少。(謝燁挺)