「地端專屬AI」關鍵4問

套用現成就陽春?砸錢自建成冤大頭?

「地端專屬AI」關鍵4問


根據資誠聯合會計師事務所發布的《2025年全球暨台灣企業領袖調查報告》,有60%的台灣企業預估,生成式AI將在未來1年內帶來利潤成長。然而,報告也指出,台灣仍有高達42%的企業在過去1年未曾使用AI,高度/非常信任生成式AI的企業更僅占5%,皆低於全球平均。

換言之,台灣企業在面對AI時,展現出「既期待又怕受傷害」的矛盾心態。關於AI的導入與落地,各種觀點眾聲喧嘩,使得企業難以果斷下決策。

雲端還是地端?通用大模型或專屬小模型?本篇報導邀請來自產業智庫、顧問公司與解決方案供應商的第一線觀察者,從技術趨勢、成本預算到實務部署,逐一拆解企業導入「地端專屬AI」最常面對的4大問題。

採訪・撰文/王聖華 攝影/蔡仁譯 圖片來源/數位無限・群聯・APMIC・資誠・資策會

雲端、地端成本差距多大?哪一種更省?


A 雲端方案表面上無需建置基礎設施、看似彈性十足,但一旦使用頻率拉高、規模擴大,長期租用費用很容易飆升。反觀地端部署雖然前期投入較高,若能善用GPU管理與資源切割,一套硬體可支援多部門同時運行,使用率提高、成本也能有效攤平。


A 以4,000人的企業為例,若全員使用GPT類型的模型輔助日常工作,部署在雲端1年可能需投入約新台幣5,000萬元。若改採地端部署,初期建置成本不到1,000萬元,後續幾乎無額外費用。如今,甚至出現適用1至3人的團隊入門級設備,10萬元即可跑得動320億參數量的語言模型。

地端部署程序多又繁雜,為什麼不選雲端就好?


A 雲端服務的優勢在於標準化與模組化,就像買現成的3房2廳公寓,如果這樣的格局能滿足企業需求,只要開通帳號就能立即使用,部署速度確實較快。相比之下,地端部署就像「買地自建」,需要較多的規畫與建設時間,但是比較能打造出更符合自身需求的系統。

此外,地端的關鍵優勢,在於高度的自主性與客製彈性。雲端的控制權多半掌握在服務供應商,使用者能調整的範圍有限;而地端部署讓企業能完全掌控模型與資料,依照實際需求彈性配置,打造自己想要的樣子,特別是涉及機敏資料時,地端部署便是不可或缺的選項。

導入AI一定要微調模型嗎?能不能用現成的?


A 導入專屬AI,不一定得從頭自建或微調模型。實務上,大多數企業會根據需求與資源狀況,採取3種不同的方式來使用AI:第1類是「通用型AI」,例如微軟Copilot等公有雲或SaaS工具,適合處理日常文件、摘要、數字分析等基本任務,不需微調,直接開通即可用。第2類是「專業型AI」,像是法律或醫療專業領域的訂閱式工具,這類模型已針對特定任務預先訓練,即使不客製也有不錯效果,適合對特定領域有需求但資料量不足的企業。

第3類才是「專屬型AI」,也就是企業針對自身核心競爭力,自建AI算力、訓練模型並在地端部署,掌握高度自主性與機敏資料安全。這需要較高的投入與成熟的AI操作能力,不建議一開始就跳進來。

企業不必一次做到最複雜,而是可以從串接不同工具與AI 代理(AI agent)開始,小步測試AI的應用邊界與企業的真實需求,再決定是否擴大投入。關鍵在於找出適合自身節奏、符合使用需求的組合,而非一味追求自建。

導入AI前應該注意什麼?有推薦的落地流程嗎?


A 企業導入AI前,第一步還是資料數位化。很多企業的機台沒有聯網,也沒有資料輸出功能,這時可以用非侵入式的方式,例如裝智慧掛鉤或攝影機,從電流或畫面反推機台運作狀況。這樣可以在不更換設備的情況下,把資訊變成數據。

除了設備數位化,企業也要盤點自己有多少資料、資料的品質如何,資料準備好後,才可能進一步做模型微調、RAG或更進階的應用。此外,導入AI不只是技術工程,更關乎企業文化與決策思維的改變。若高層尚未具備轉型意識,即便中層有心推動,也可能因無法說服管理層投入資源而功敗垂成。

建議企業從數位體檢做起,盤點自身體質、痛點與資源,再視需求擬定中長期AI導入藍圖。或參考數位經濟暨產業發展協會(DTA)的台灣數位轉型大聯盟、人工智慧技術服務機構服務能量登錄等平台,了解可搭配的解決方案與補助資源,降低導入門檻。


A 若要推動長期應用與規模化部署,企業內建立「AI Lab」將會是關鍵。所有要部署到實際業務場景的AI模型,都應先進入AI Lab,進行資料驗證、精準度測試與風險評估,確認達到一定標準後再釋出。AI Lab的角色不只是測試新技術,更是建立「準入/準出機制」的中控平台。

此外,AI Lab也應涵蓋跨部門協作機制,讓業務、IT、資安、法遵能共同參與決策與監管。從長期來看,AI Lab就是企業內部發展AI的中樞治理單位,如果沒有一套管理制度,再多應用也難以持久。企業若期望從試點走向轉型,必須思考AI的「治理力」,而非單點落地而已… 閱讀完整內容
數位時代2025/6月 第365期

本文摘錄自‎

用現成就陽春?自建成冤大頭?「地端專屬AI」關鍵4問

數位時代

2025/6月 第365期