英偉達的挑戰者登場！近日，美國企業Groq公布新型Al芯片（LPU）爆火全網，推理速度較英偉達GPU提高10倍，成本只有英偉達的1/10。Groq主打一個「快」，每秒能輸出500個tokens（註：語言模型中用來表示最小文本單元）。相比之下，ChatGPT-3.5每秒生成速度為40個tokens。有芯片專家認為，Groq的芯片目前並不能取代英偉達，Groq極高的速度是建立在很有限的單卡吞吐能力上，要保證H100同樣吞吐量，則需要更多的卡，成本要比英偉達高出不少。（謝燁挺）