来客网

Google擴展第8代TPU陣容 迎AI代理算力爆發期

声明:本文转载自 「中央社」, 或因排版与篇幅原因进行过编辑,内容未经本站独立核实,不代表本站立场、观点或建议。 如涉及版权问题,请联系我们,核实后立即删除。 [ 免责声明 ]

(中央社記者吳家豪台北9日電)人工智慧算力競賽白熱化,科技巨擘紛紛加速自研晶片節奏。Google今天宣布擴展第8代張量處理器(TPU)晶片系統陣容,新增專為安全與機密推論打造的TPU 8tx,以及專為龐大脈絡視窗(context windows)與最高單機櫃運算密度設計的TPU 8i Max。

這也是Google首次在同一年內推出4款TPU系統,全力迎戰AI代理(Agent)時代的算力挑戰。

早期Google自研TPU的節奏約為每2年推出1款,隨後縮短至每年1款或2款。今年4月在Google Cloud Next大會上,Google推出專為大規模訓練打造的TPU 8t與即時推論設計的TPU 8i,如今再度擴充產品線,單一年度內接連發布4款TPU,展現圍繞自研晶片打造人工智慧超級電腦(AI Hypercomputer)系統的研發能量。

Google在官方部落格發文指出,打造一套「系統」與研發「新晶片」截然不同。晶片製造受實體物理與製造週期限制需耗費數年,但Google十多年前就把TPU設計為模組化架構,讓工程團隊能在短短幾個月內,圍繞既有晶片快速調整封裝、高速記憶體、光學網路與安全機制,跟上AI軟體演進步調。

Google Cloud運算與AI基礎架構副總裁暨總經理羅梅爾(Mark Lohmeyer)在一場媒體簡報會中分析,生成式AI正經歷關鍵轉變,在推論端,技術已從最初人類與模型單次問答的對話階段,跨入系統自主拆解任務、運用內部工具與撰寫程式碼的「智慧代理時代」。

羅梅爾指出,這項變革帶來3大轉變。首先是運算規模從人類層級邁向「代理規模」(agent scale),單一請求即可觸發背後成百上千次操作,算力需求呈現10倍至1000倍暴增;其次,AI從被動檢索的記錄系統進化為主動執行的行動系統,引發嚴格的安全與法規要求;最後,代理在長時間任務中需持續存取並維護龐大的文件與程式碼檔案,使記憶體頻寬與百萬詞元(Token)規模的脈絡處理能力面臨嚴峻考驗。

面對算力痛點,Google不再仰賴單一通用規格,而是針對不同工作負載量身打造系統配置。

新亮相的TPU 8tx針對安全與機密推論進行最佳化,也是首款具備硬體級機密運算(Confidential Computing)特性的TPU,採用與TPU 8t相同的矽晶片並搭配第5代超微(AMD)EPYC CPU主機,將安全機制直接內建於硬體層中,確保敏感資料與模型權重在處理與活躍使用狀態下,全程受到保護與維持隔離。

另一款TPU 8i Max則瞄準長脈絡作業與重度代理工作負載,旨在突破「記憶體高牆」(memory wall)。Google將2顆低延遲的TPU 8i晶片整合封裝在單一模組上,實現雙倍運算能力、雙倍靜態隨機存取記憶體(SRAM)與雙倍高頻寬記憶體(HBM)頻寬,在現有機櫃空間容納2倍的矽晶片,大幅提升資料中心每平方英尺與每瓦電力的運算密度。

除了硬體系統升級之外,Google也同步推出Agent Compute Engine軟體,能在幾毫秒內自動暫停閒置的AI代理工作階段,並將工作記憶體移出晶片,消除代理等待外部工具或人類反饋時的算力浪費。(編輯:林克倫、林家嫻)1151109

评论 (0)