將驅動下一代的 AI 模型！Google發表第六代Trillium TPUKnowing新聞 (2024-05-15 09:50:00)

Google年度開發者大會Google I/O，在台灣時間5月15日凌晨1點登場！

而在大會中，Google正式發表第六代Google Cloud TPU「Trillium」，被該公司稱為迄今為止效能最高以及最節能的TPU，而第六代Trillium TPU預計將於今年底前推出。

TPU是專為神經網路而打造的，若是少了它，現在大家所習慣的即時語音搜尋、相片物件辨識、互動式語言翻譯，甚至是Gemini、Imagen及Gemma等基礎模型服務都無法問世。

針對新一代TPU，Google擴大矩陣乘法單元（MXU）的大小、提高時脈速度（clock speed），使Trillium與TPU v5e相比，每個晶片尖峰效能提升了4.7倍、高頻寬記憶體（HBM）的容量與頻寬提升1倍、晶片間互連網路（ICI）頻寬也提高一倍。

除此之外，Trillium 還配備了第三代SparseCore，透過策略性卸載來自 TensorCores隨機與細粒度存取，以加速繁重的嵌入型工作負載，藉此處理超大嵌體的專用加速器，常用於處理進階排名與推薦工作負載，也使其可以更快速地訓練下一代基礎模型，並以較短的延遲時間與較低成本來提供模型服務。

Google強調，Trillium TPU將驅動下一代的AI模型，成為下一波AI模型和虛擬專員的推手，像是自動駕駛汽車公司Nuro透過使用Cloud TPU訓練自家模型來打造機器人；Deep Genomics藉助AI推動藥物發現的未來，並期待運用由Trillium TPU所支援的下一代基礎模型來改變病患的生活；勤業眾信則將透過Trillium TPU來幫助企業利用生成式AI進行轉型。

（以上圖片取自Google Blog）