隨著近期聊天機器人ChatGPT帶動的AI風潮席捲全球,微軟(Microsoft)、Google、亞馬遜(Amazon)、Meta、阿里巴巴、百度等各科技大廠都積極打造生成式AI應用。
AI是今年GTC主軸
就在OpenAI正式宣布推出全新GPT-4大型語言模型之後,微軟也在近期宣布新版Bing搜尋服務也已經接入此大型語言模型,將能對應更複雜的搜尋互動行為,甚至也能更流暢識別圖像內容,甚至以涵蓋文本、圖像內容進行搜尋。另外,也發表Office AI助手Copilot,如同ChatGPT一樣,使用者可以以文字或口頭在聊天介面輸入想要做的事,指示Copilot在Word、Excel、Powerpoint、Outlook等完成基本作業,並可再修正、編輯或強化,提升工作效率。
繪圖處理器(GPU)大廠輝達(Nvidia)在三月二十日~二十三日舉辦今年度GPU技術大會(GTC),吸引全球超過二五萬人報名參加,執行長黃仁勳先前在加州大學伯克利分校哈斯商學院的演講中,以人工智慧的「iPhone時刻」來誇讚ChatGPT,並指出新的AI技術和應用正在改變科學和產業界,並成為各大企業積極開闢的新領域。
雖然目前各大雲端服務商受限產業景氣下行、消費性電子需求降溫、利率處於高檔等影響,導致資本支出下修,使資料中心建置速度放緩。不過Nvidia認為,為了有效運用算力達成AI應用目標,大規模資料中心勢必要增加資本支出以擴大雲端運算效能,同時也會帶動邊緣裝置銷售。
此外,工業自動化在後疫情時代已成為主流,工業與機器人應用亦需要加入AI運算機制。市場同步看好,GPU需求將提前進入成長循環,除了Nvidia將調整生產計畫提高資料中心GPU出貨,超微(AMD)及英特爾(Intel)今年內亦有推出專為生成式AI打造的GPU。
目前被廣泛運用於資料中心進行機器學習、訓練及推論的GPU是Nvidia在二○二○年推出的Ampere架構A100,採用台積電七奈米製程,內含五四二億顆電晶體,而去年再推出新一代Hopper架構H100,採用台積電四奈米製程,內含八○○億顆電晶體,並配備最新的第四代NVLink互連技術,能夠支撐巨型AI語言模型、深層推薦系統、基因體學運算、及複雜的數位孿生等運算。
先進封裝扮演要角
根據麥格理證券研究顯示,在AI伺服器當中,半導體價值比普通伺服器高了九~十八倍,其中推論伺服器(inference server)約三.三萬美元,訓練伺服器(training server)約六.五萬美元,企業伺服器約三.六萬美元。由於GPU運用在AI運算的關鍵在於其記憶體頻寬,在訓練數以百億、千億的參數需要很高的運算能力,DRAM因此受限於低頻寬的問題而無法負荷,業界目前都是採用先進封裝技術將GPU及高頻寬記憶體(High Bandwidth Memory; HBM)整合在一起封裝,是Nvidia的GPU、Google的張量處理器(TPU)與各種ASIC加速器的唯一選擇。
為處裡龐大資料量,過去主流使用的HBM2最高每接腳三.六Gbps的資料傳輸速度已不敷使用,國內業者創意運用其矽智財技術,搭配SK海力士(SK Hynix)的HBM3樣本,以及台積電七奈米先進製程和CoWoS(Chip On Wafer On Substrate)的封裝技術,打造此頻寬最高可達七.二Gbps的HBM3 CoWoS平台。(全文未完)
全文及圖表請見《先探投資週刊2240期精彩當期內文轉載》
◎封面故事:解讀雙千金MVP效應
◎特別企劃:股息、股利、魚與態掌可兼得
◎國際趨勢:美上市公司卯勁祭庫藏股
◎中港直擊:攜程集團揚眉吐氣卸口罩
【最新活動看板】
◎先探i投資YouTube開播了
◎財訊快報 理財年鑑 好評熱銷中
◎加入先探Telegram掌握第一手投資情報!
◎先探【Pressplay】乙哥聊天室 強棒出擊
◎跟著生技女王腳步,奠定生技產業基本功
◎【先探講堂】輕鬆學會看財報 台股投資必學基本功
◎【先探講堂】謝佳穎:觀盤技巧及實戰分享--價量控盤絕招大公開
◎【先探講堂】蕭明道:億級大師操盤技巧--「量、價、時間、角度」完整教學
◎訂先探一季13期,送《社畜的股票攻略說明書》一本
◎訂先探一年贈《Lynx真空環保隨行杯(附杯套)900ml》二個
系統合作: 精誠資訊股份有限公司 資訊提供: 精誠資訊股份有限公司 資料來源: 台灣證券交易所, 櫃買中心, 台灣期貨交易所 |