Google揭AI超級電腦晶片TPU 稱比英偉達A100更快更節能

【2023年4月6日訊】

帶有液冷裝置的張量處理單元（TPU）v4

谷歌（Google）周二公佈了其用於訓練人工智能模型的超級計算機的新細節，稱其系統比英偉達（Nvidia）的A100晶片更快更節能。谷歌自2016年以來一直在設計和部署一種名為張量處理單元（Tensor Processing Unit，簡稱TPU）的人工智能晶片，部分用於內部使用。

谷歌是人工智能領域的先驅之一，其員工在過去十年中開發了該領域的一些最重要的進展。但有人認為，谷歌在商業化其發明方面落後了，而且在內部，該公司一直在競相發佈產品並證明它沒有浪費自己的領先優勢。

人工智能模型和產品，如谷歌的Bard或OpenAI的ChatGPT——由英偉達的A100晶片驅動——需要大量的計算機和數百或數千個晶片協同工作來訓練模型，計算機需要連續運行數周或數月。

周二，谷歌表示，它已經建造了一個由4000多個TPU組成的系統，使用自己定製開發的光學開關來幫助連接單個機器。它自2020年以來一直在運行，並被用於訓練谷歌的PaLM模型，該模型與OpenAI的GPT模型競爭，用了50天的時間。谷歌稱其基於TPU的超級計算機，名為TPU v4，「比英偉達A100快1.2倍至1.7倍，耗電量少1.3倍至1.9倍」。谷歌的研究人員寫道：「性能、可擴展性和可用性使TPU v4超級計算機成為大型語言模型的主力軍。」

然而，谷歌的TPU結果並沒有與英偉達最新的人工智能晶片H100進行比較，因為它是更近期並且使用了更先進的製造技術製造的晶片。周三發佈了一個行業範圍內的人工智能晶片測試MLperf 3.0的結果和排名，英偉達行政總裁黃仁勛（Jensen Huang）表示，最新英偉達晶片H100的結果比上一代晶片快得多。「今天的MLPerf 3.0突顯了Hopper比A100提供了4倍的性能。」黃仁勛在他的公司博客中寫道。

相關論文

• arxiv:2304.01433

消息來源

• Google Says Its AI Supercomputer is Faster, Greener Than Nvidia A100 Chip，slashdot，2023年4月5日。
• Stephen Nellis，Google says its AI supercomputer is faster, greener than Nvidia A100 chip，reuters，2023年4月5日。
• Kif Leswing，Google reveals its newest A.I. supercomputer, says it beats Nvidia，CNBC，2023年4月5日。
• Google’s Cloud TPU v4 provides exaFLOPS-scale ML with industry-leading efficiency，Google Cloud Blog，2023年4月6日。
• NVIDIA Takes Inference to New Heights Across MLPerf Tests，NVIDIA Blog，2023年4月5日。