Groq?大模型推理芯片每秒500tokens超越GPU，喊話3年超過英偉達快訊
Groq公司以其創新的LPU方案和超越性能的大模型推理芯片，1. Groq公司推出的大模型推理芯片，Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轟動。
劃重點:
1. Groq公司推出的大模型推理芯片，每秒500tokens的驚人速度超越了傳統GPU，挑戰谷歌TPU。
2. 該芯片由初創公司Groq研發，由谷歌TPU團隊原班人馬打造，推理速度提高10倍，成本降低十分之一，支持多種大模型。
3. Groq的目標是在三年內超越英偉達，采用自創的LPU方案，克服計算密度和內存帶寬瓶頸，實現18倍于云平臺速度的推理性能。
站長之家（ChinaZ.com）2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轟動，超越了傳統GPU和谷歌TPU。該芯片由初創公司Groq研發，其團隊成員來自谷歌TPU，包括創始人兼CEO Jonathan Ross，曾設計實現第一代TPU芯片的核心元件。
Groq采用了全球首個LPU（Language Processing Unit）方案，旨在克服計算密度和內存帶寬的瓶頸，最終實現大模型推理性能比其他云平臺廠商快18倍。據介紹，英偉達GPU需要大約10到30焦耳才能生成響應中的tokens，而Groq僅需1到3焦耳，使得推理速度提高了10倍，成本降低十分之一，性價比提高了100倍。
Groq的芯片采用14nm制程，搭載了230MB大SRAM以保證內存帶寬，片上內存帶寬高達80TB/s。在算力方面，該芯片的整型（8位）運算速度為750TOPs，浮點(16位)運算速度為188TFLOPs?；谧匝械腡SP架構，Groq利用機器學習工作負載的并行性對推理進行加速，并支持通過PyTorch、TensorFlow等標準機器學習框架進行推理。
Groq公司在演示中展示了其芯片的強大性能，支持Mixtral8x7B SMoE、Llama2的7B和70B等多種模型，并可直接體驗Demo。不僅如此，Groq還喊話各大公司，揚言在三年內超越英偉達。該公司的推理芯片在第三方網站上的售價為2萬多美元。
Groq公司以其創新的LPU方案和超越性能的大模型推理芯片，成為大模型推理領域令人矚目的新興力量，引領著技術的飛速發展。
Groq產品的特色亮點如下:
1. API訪問速度極快:Groq提供了API密鑰，可以訪問世界上最快的開源大型語言模型（LLM）推理速度。他們的實現在Anyscale的LLMPerf Leaderboard上展示了相較于云服務提供商高達18倍的推理性能。
2. 支持開源LLM模型:*Groq支持Llama2-70B和7B，這兩個由Meta AI創建的領先的開源基礎LLM模型。這些Groq實現使用4096的上下文長度。
3. 支持其他模型:*除了Llama系列外，Groq還支持Mixtral8x7B，由Mistral AI創建，可根據請求提供。其他模型如Mistral和CodeLlama也可根據特定客戶請求提供。
4. 免費試用期: 提供為期10天的免費試用期，可以根據請求進行刷新。在試用期間，用戶將獲得100萬免費令牌，并且API與OpenAI API完全兼容。
5. 價格保證: Groq保證以擊敗任何已發布的相應模型的百萬令牌價格。他們的定價相對較低，可以提供更具競爭力的服務。
6. 早期訪問計劃: Groq提供了Alpha版本的API的早期訪問計劃，免費供研究和開發目的使用。公共可用性計劃于2024年第二季度。
7. 高性能硬件支持: Groq引擎（LPU? Inference Engine）在性能上優越，通過硬件支持實現了18倍于云服務提供商的LLM推理性能。
Groq產品以其出色的推理性能、對多種開源LLM模型的支持以及具有競爭力的價格政策等特色，成為一個引人注目的選擇。
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
