9月3日，一則消息在科技圈引起了軒然大波： 谷歌開始對(duì)外出售TPU了。

據(jù)報(bào)道，谷歌近期已在接觸那些主要租賃英偉達(dá)芯片的小型云服務(wù)提供商，敦促他們?cè)谄?a class='sowmlink' id='shujuzhongxin' onmouseout='Fhidden()' onmouseover='Fpop(this)' target=_blank href='http://www.aykon.com.cn/channel/shujuzhongxin.html'>數(shù)據(jù)中心也托管谷歌自家的AI處理器，也就是TPU。

谷歌已與至少一家云服務(wù)提供商——總部位于倫敦的Fluidstack——達(dá)成協(xié)議，將在紐約的一個(gè)數(shù)據(jù)中心部署其TPU。

谷歌的努力不止于此。據(jù)報(bào)道，該公司還向其他以英偉達(dá)為核心的服務(wù)商尋求類似的合作，其中包括正在為OpenAI建造數(shù)據(jù)中心的Crusoe，以及向微軟租賃芯片并與OpenAI簽有供應(yīng)合同的英偉達(dá)“親兒子”CoreWeave。

9月9日，花旗分析師因TPU競(jìng)爭(zhēng)加劇將英偉達(dá)目標(biāo)價(jià)下調(diào)至200美元，預(yù)計(jì)2026年GPU銷售額將因此減少約120億美元。

明眼人都能看出來的是， 谷歌和英偉達(dá)之間的大戰(zhàn)已經(jīng)開始了。 而它們爭(zhēng)奪的，將是AI計(jì)算這個(gè)真正的萬億美元市場(chǎng)。

然而，谷歌對(duì)這一戰(zhàn)的準(zhǔn)備，其實(shí)比我們想象的都要久。

TPU，AI計(jì)算的最優(yōu)解？

早在2006年，谷歌的內(nèi)部就討論過在自家的數(shù)據(jù)中心中部署GPU、FPGA或ASIC的可能性。不過，當(dāng)時(shí)只有少數(shù)應(yīng)用程序能夠在這些特殊硬件上運(yùn)行，而谷歌大型數(shù)據(jù)中心的過剩算力也完全夠它們使用了。因此，部署特殊硬件的計(jì)劃被擱置。

然而，到了2013年，谷歌的研究人員發(fā)現(xiàn)：如果人們每天使用語音搜索并通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行3分鐘的語音識(shí)別，那么當(dāng)時(shí)谷歌的數(shù)據(jù)中心需要雙倍的算力才能滿足日益增長(zhǎng)的計(jì)算需求。

而如果僅通過擴(kuò)大數(shù)據(jù)中心規(guī)模來滿足算力需求，不但耗時(shí)，而且成本高昂。于是，在這個(gè)背景下，谷歌開始了TPU的設(shè)計(jì)。

谷歌的TPU是為AI計(jì)算而生的ASIC芯片 ，它專注于實(shí)現(xiàn)兩個(gè)核心目標(biāo)： 極高的矩陣乘法吞吐量與卓越的能效。

為了實(shí)現(xiàn)高吞吐量，TPU在硬件層面采用了“脈動(dòng)陣列” （Systolic Array） 架構(gòu)。該架構(gòu)由大量簡(jiǎn)單的處理單元 （PE） 構(gòu)成網(wǎng)格。數(shù)據(jù)流從陣列的邊緣輸入，在每個(gè)時(shí)鐘周期同步地、一步步地流經(jīng)相鄰的處理單元。每個(gè)單元執(zhí)行一次乘法累加運(yùn)算，并將中間結(jié)果直接傳遞給下一個(gè)。

這種設(shè)計(jì)使得數(shù)據(jù)在陣列內(nèi)部被高度復(fù)用，最大限度地減少了對(duì)高延遲、高功耗主內(nèi)存的訪問，從而實(shí)現(xiàn)了驚人的處理速度。

而其卓越能效的秘訣，則在于 軟硬件協(xié)同的“提前編譯” （Ahead-of-Time Compilation） 策略 。傳統(tǒng)的通用芯片需要高能耗的緩存來應(yīng)對(duì)多樣的、不可預(yù)測(cè)的數(shù)據(jù)訪問。TPU則不同，它的編譯器在程序運(yùn)行前就完整規(guī)劃好了所有數(shù)據(jù)路徑，這種確定性使其無需復(fù)雜的緩存機(jī)制，從而大幅降低了能耗。

在TPU的設(shè)計(jì)上，谷歌主導(dǎo)整體架構(gòu)與功能定義，博通Broadcom參與了部分芯片的中后端設(shè)計(jì)工作，目前，Google TPU主要由臺(tái)積電代工生產(chǎn)。

隨著大語言模型參數(shù)的急劇擴(kuò)張，AI計(jì)算任務(wù)正在從“訓(xùn)練”走向“推理”。這時(shí)，作為通用算力單元的GPU，開始顯露出成本以及功耗過高的問題。

而TPU從設(shè)計(jì)之初就專門瞄準(zhǔn)了AI計(jì)算，具有很高的性價(jià)比優(yōu)勢(shì)。據(jù)報(bào)道， 谷歌TPU算力成本僅為OpenAI使用GPU成本的1/5，性能功耗比更是優(yōu)于同代GPU。

因此，為了抓住市場(chǎng)，谷歌圍繞著自己的TPU架構(gòu)，打造了一系列產(chǎn)品與生態(tài)。

谷歌造芯這十年

谷歌第一代TPU （v1） 于2015年推出， 通過高度簡(jiǎn)化的專用設(shè)計(jì)，實(shí)現(xiàn)了超越同期CPU與GPU的能效比，并在AlphaGo等項(xiàng)目中展示了其高效能， 從而驗(yàn)證了AI ASIC的技術(shù)路徑。

隨著研發(fā)深入，訓(xùn)練環(huán)節(jié)的算力瓶頸日益凸顯，這促使TPU的設(shè)計(jì)方向轉(zhuǎn)向系統(tǒng)級(jí)解決方案。2017年發(fā)布的TPU v2為此引入了BF16數(shù)據(jù)格式以支持模型訓(xùn)練，并配置了高帶寬內(nèi)存 （HBM） 。

更為關(guān)鍵的是，v2通過定制的高速網(wǎng)絡(luò)將256個(gè)芯片單元互聯(lián)，首次構(gòu)建了TPU Pod系統(tǒng)。隨后的TPU v3通過增加計(jì)算單元數(shù)量和引入大規(guī)模液冷技術(shù)，實(shí)現(xiàn)了性能的顯著提升。

TPU v4的發(fā)布帶來了互聯(lián)技術(shù)的重大革新，其核心是采用了光學(xué)電路交換 （OCS） 技術(shù)，實(shí)現(xiàn)了TPU Pod內(nèi)部網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)重構(gòu)，從而提升了大規(guī)模訓(xùn)練任務(wù)的容錯(cuò)能力與執(zhí)行效率。進(jìn)入v5與v6 （Trillium） 階段，TPU產(chǎn)品線呈現(xiàn)出分化策略， 形成了 分別側(cè)重于極致性能的“p”系列與能效比的“e”系列，以適應(yīng)多樣化的AI應(yīng)用場(chǎng)景。

2025年，Google TPU的全年出貨量預(yù)計(jì)為250萬片。v5系列的總出貨量預(yù)計(jì)為190萬?，其中v5e占?約120萬?，v5p占?約70萬?， v6系列預(yù)計(jì)總出貨量為60萬?，?前僅v6e在市場(chǎng)上銷售，?v6p將在第四季度上市，約10萬～20萬?左右。預(yù)計(jì)到2026年，總體TPU銷量將超過300萬片。

在今年的谷歌云大會(huì)上，谷歌發(fā)布了第七代TPU，代號(hào)“Ironwood”。

Ironwood是谷歌迄今為止性能最強(qiáng)、能效最高且最節(jié)能的TPU芯片，其峰值算力達(dá)到4614 TFLOPs，內(nèi)存容量為192GB，帶寬高達(dá)7.2 Tbps，每瓦峰值算力為29.3 TFLOPs。此外，Ironwood首次支持FP8計(jì)算格式，并在張量核和矩陣數(shù)學(xué)單元中實(shí)現(xiàn)這一功能，這使得其在處理大規(guī)模推理任務(wù)時(shí)更加高效。

Ironwood最高配集群可擁有9216個(gè)液冷芯片，峰值算力可達(dá)42.5 ExaFLOPS，是世界上最大的超級(jí)計(jì)算機(jī)El Capitan的24倍以上。其支持大規(guī)模并行處理和高效內(nèi)存訪問，適用于復(fù)雜的推理任務(wù)如大型語言模型和混合專家模型。

事實(shí)上，Ironwood的整體性能已經(jīng)十分接近英偉達(dá)B200，甚至在一些方面還有所超越。

當(dāng)然，英偉達(dá)的統(tǒng)治力不僅在于其硬件性能，更在于整個(gè)CUDA生態(tài)。谷歌深知這一點(diǎn)，因此， 它也構(gòu)建了JAX這樣能在TPU上運(yùn)行的高性能計(jì)算Python庫。

谷歌還發(fā)布了其模型流水線解決方案“Pathway”，用于向外部開發(fā)者訓(xùn)練大型語言模型 （LLM） 。將其作為訓(xùn)練模型的必備手冊(cè)，研究人員無需重新設(shè)計(jì)模型即可開發(fā)Gemini等LLM。

有了上述的一整個(gè)“軍火庫”，谷歌終于可以和英偉達(dá)掰掰手腕了。

谷歌vs英偉達(dá)

投資銀行D.A. Davidson分析師Gil Luria在最新報(bào)告中指出，過去一年以來， 谷歌母公司Alphabet大幅縮小與英偉達(dá)的差距，如今已成為“最好的英偉達(dá)替代方案”。

報(bào)告顯示，過去半年，圍繞Google Cloud TPU的開發(fā)者活躍度激增了約96%。

Gil Luria與前沿AI實(shí)驗(yàn)室的研究人員和工程師交流后發(fā)現(xiàn)，業(yè)內(nèi)普遍看好谷歌TPU。因此Luria認(rèn)為，若谷歌將TPU業(yè)務(wù)與DeepMind部門合并并將它們分拆上市，估值或?qū)⒏哌_(dá)9000億美元。

AI獨(dú)角獸Anthropic此前使用亞馬遜的Trainium芯片來訓(xùn)練模型，最近，該公司被發(fā)現(xiàn)正在招聘TPU內(nèi)核工程師；馬斯克旗下的人工智能公司xAI也對(duì)采購TPU表現(xiàn)出興趣。這一切都說明了業(yè)界對(duì)于TPU的認(rèn)可。

而谷歌自身也在積極行動(dòng)。首先， 谷歌有意在公司內(nèi)部進(jìn)行從英偉達(dá)GPU到自研TPU的迭代。 Omdia數(shù)據(jù)顯示，2024年估計(jì)谷歌訂購16.9萬臺(tái)Hopper 架構(gòu)GPU，在五大云廠商中排名最后，約為微軟的三分之一。同時(shí)，谷歌內(nèi)部已部署了約150萬顆TPU。

谷歌的對(duì)外戰(zhàn)略，就是文章開頭提到的，對(duì)那些使用英偉達(dá)芯片的數(shù)據(jù)中心供應(yīng)TPU。據(jù)報(bào)道，為了與Floydstack達(dá)成合作，谷歌將提供最高32億美元的備選擔(dān)保支持，若Fluidstack無力支付紐約新數(shù)據(jù)中心的租賃費(fèi)用，谷歌將補(bǔ)足差額。

根據(jù)野村證券的最新報(bào)告， 預(yù)計(jì)到2026年，ASIC總出貨量很可能會(huì)第一次超過GPU。 而TPU正是目前最成熟的ASIC。

英偉達(dá)需要緊張起來了。

結(jié)語

市場(chǎng)對(duì)谷歌TPU的積極接受， 反映出越來越多的公司想擺脫英偉達(dá)“一卡難求“的困境，尋求更高的性價(jià)比和更多元、穩(wěn)定的供應(yīng)鏈。

而借此機(jī)會(huì)挑戰(zhàn)英偉達(dá)的，也不只有谷歌一家公司。供應(yīng)鏈數(shù)據(jù)顯示， Meta將于2025年第四季度推出其首款A(yù)SIC芯片MTIA T-V1。 它由博通設(shè)計(jì)，具有復(fù)雜的主板架構(gòu)，并采用液冷和風(fēng)冷混合技術(shù)。

到2026年年中，MTIA T-V1.5將進(jìn)行進(jìn)一步升級(jí)，芯片面積將翻倍，超過英偉達(dá)下一代GPU Rubin的規(guī)格，其計(jì)算密度將直接接近英偉達(dá)的 GB200 系統(tǒng)。2027年的MTIA T-V2可能會(huì)帶來更大規(guī)模的CoWoS封裝和高功率機(jī)架設(shè)計(jì)。

報(bào)告指出，根據(jù)供應(yīng)鏈估計(jì)，Meta的目標(biāo)是到2025年底至2026年實(shí)現(xiàn)100萬至150萬件ASIC出貨量。

微軟、亞馬遜同樣有自研的ASIC芯片， 正在對(duì)這片被GPU霸占的市場(chǎng)虎視眈眈。

對(duì)此，英偉達(dá)也有自己的反擊手段。今年5月，英偉達(dá)正式發(fā)布NVLink Fusion。 NVLink Fusion允許數(shù)據(jù)中心將英偉達(dá)GPU與第三方CPU或定制化AI加速器混合使用， 標(biāo)志著英偉達(dá)正式打破硬件生態(tài)壁壘。

近日，英偉達(dá)執(zhí)行副總裁暨首席財(cái)務(wù)官Colette Kress在高盛組織的會(huì)議上談及了對(duì)于AISC芯片所帶來的競(jìng)爭(zhēng)看法，稱英偉達(dá)GPU更具性價(jià)比。

一場(chǎng)大戲已經(jīng)拉開了帷幕。無論是萬億美元的市場(chǎng)規(guī)模，還是未來AI時(shí)代硬件結(jié)構(gòu)的定義權(quán)，都值得幾大巨頭為之瘋狂。

這一戰(zhàn)，誰都有不能輸?shù)睦碛伞?/p>

本文來自： 半導(dǎo)體產(chǎn)業(yè)縱橫 ，作者：俊熹