地端AI與雲端服務競逐（上）它只贏了月均成本李佩璇 (2024-06-17 15:20:06)

人工智慧新創公司Lytix創辦人Sid Premkumar發布分析文章，內容闡述其自行利用開源人工智慧模型以及使用AWS服務兩者之間的成本比較。就結果而言，長期將成本攤提後，自行託管人工智慧的經濟成本相對便宜，但是仍然有幾點重要因素尚需考量。

編譯／戴偉丞

人工智慧新創公司Lytix創辦人Sid Premkumar發布分析文章，內容闡述其自行利用開源人工智慧模型以及使用AWS服務兩者之間的成本比較。就結果而言，長期將成本攤提後，自行託管人工智慧的經濟成本相對便宜，但是仍然有幾點重要因素尚需考量。

地端系統月均成本略勝一疇

Premkumar 的分析重點在於其自行託管的 Llama-3 8B 模型，以及他使用AWS雲端服務的相關成本。根據其分析顯示，AWS模型的月均成本約為2816.64美元，反觀自行託管的硬體前期投資月均成本約為3800美元。

不得不注意的是，Premkumar的分析假設為所有硬體使用率為100%，在現實實務中是相當少見的情形；另外透過自行託管的方法至少需要5年半的時間才能開始回收成本，鑑於人工智慧在硬體的快速變動，於此期間可能已經有更新、更強大的硬體出現。

更多新聞：全都是泡沫？企業重返地端取代雲端運算

變化快速形成硬體成本風險

在這場地端人工智慧以及雲端的鬥爭中，雲端仍然具有幾點優勢，包括其「規模經濟」、「服務支付模式」、「成本效率」、「技術稟賦」、「延展性與靈活性」、「資訊安全」等不同層面。除前述優勢外，人工智慧基礎設施的硬體開銷比傳統雲端運算的成本更為高昂，當人工智慧創新速度不斷增快以及其效能持續改進，地端人工智慧使用者可能會面臨硬體升級的成本風險。

地端基礎架構過於複雜

在權衡人工智慧與自行託管間的成本撙節及把控程度的同時，不得不考量到邊緣運算的趨勢，在未來將有更多雲端運算搭配邊緣運算的模型出現，並得以為企業級用戶所用，例如：AWS的Outposts功能、Azure的Stack Edge功能、Google Cloud的Anthos功能等，均得使用雲端功能更接近資料產生、使用的位置。藉著邊緣運算的優勢，雲端資源的部署已勝過地端基礎架構的複雜性。

雲端隱私須化阻力為助力

確保數據資料的隱私與安全也是相當關鍵的考量因素，由於人工智慧高度依賴使用者的數據資料，也導致傳統雲端人工智慧服務因其隱私保護政策而為人詬病，然而也因此形成人工智慧解決方案中的隱私層面快速成長，例如Apple透過私有雲提供隱私保護服務就是一個很好的案例。

資料來源：Global Village Space、VentureBeat

這篇文章 地端AI與雲端服務競逐（上）它只贏了月均成本 最早出現於 TechNice科技島-掌握科技與行銷最新動態。