獨家專訪》不只靠GPU！他打造萬顆晶片串聯的AI工廠

輝達能稱霸全球AI市場，靠的不僅是擁有超強算力的GPU，將成千上萬顆晶片串聯成AI工廠的網路架構，也是關鍵；而一手打造這套神經系統的靈魂人物，是輝達技術長卡根。

撰文‧王子承

二○一九年，當輝達（NVIDIA）斥資近七十億美元，收購網通晶片業者Mellanox時，身為這家以色列公司共同創辦人兼技術長的卡根（Michael Kagan），雖因能與輝達共同改變世界的願景而振奮，但恐怕怎麼也想不到，這場併購案在日後會引爆如此驚人的化學效應，甚至將輝達推上主導全球AI基礎設施的網通龍頭地位。

二六年SEMICON Taiwan國際半導體展期間，目前擔任輝達技術長的卡根，在接受《今周刊》獨家專訪時，追憶起這段往事。

當年的輝達執行長黃仁勳，彷彿已預見算力需求將在未來幾年以可比工業革命的態勢爆發，因此在買下Mellanox的同時，也親自邀請卡根出任輝達技術長，並交付他一項極具挑戰性的任務：「你必須跨越輝達擁有的所有技術，進行全面性的架構設計。」

▲輝達技術長卡根是將技術藍圖從單一晶片推向整座AI工廠的關鍵大腦。攝影·吳東岳
Profile 卡根（Michael Kagan）
現職：輝達技術長
經歷：Mellanox共同創辦人暨技術長
學歷：以色列理工學院電機工程學士

黃仁勳押注、他接任務
助輝達網通業務大爆發

輝達之所以在生成式AI橫空出世前，就投下巨資收購Mellanox，看中的就是這家以色列公司擁有、專為高效能運算量身打造的網路通訊技術InfiniBand。

這項技術的特殊之處，是能讓成千上萬顆散布在不同伺服器與機櫃中的GPU晶片，以極低延遲交換龐大資料，等於將無數台分散的伺服器，整合成一台龐大的超級電腦，執行AI模型訓練與運算任務；其核心關鍵，就在於具備遠端直接記憶體存取（RDMA）技術，讓兩台伺服器得以跳過CPU，直接互相讀寫對方的記憶體。

近年隨著算力需求暴增，能突破晶片傳輸瓶頸的技術果然成為顯學，輝達的網通（Networking）業務也出現爆炸性成長，部門營收從二三財年的三十六．八億美元，狂飆至二六財年（截至二六年一月底）的三一三．七億美元，三年內成長七．五倍，是僅次於運算（Computing）業務的第二成長引擎，更是「起家厝」遊戲部門營收的近兩倍。

在網通業務爆發的過程中，卡根的角色自然極為關鍵。今年國際半導體展，鮮少在螢光幕前露面的他，也難得代表輝達來台，以「智慧的工業化」為題發表專講，闡述輝達得以一口氣串聯晶片、伺服器，甚至資料中心的「AI工廠」技術架構，以及受強大算力賦能的AI發展前景。

走進專訪的會議室裡，他一坐定就用篤定神情對記者說：「我們正處於人類歷史上最大一次工業革命與技術革命的起點。」顯然，他正如當年所期待的，靠著畢生鑽研的技術，影響著全世界的科技進展。

卡根指出，當前的AI技術已經告別實驗室，大步邁向實際的規模化生產，並以驚人的速度顛覆世界。

AI怎影響世人？
他自曝妻與ChatGPT對話「比我多」

「就像近二十年前iPhone剛推出時，沒人能預見它今天會如此徹底地接管人類生活，電話，反而是這台裝置最不常用的功能。AI也是一樣，ChatGPT出現不過是三年前的事，但我太太現在跟ChatGPT對話的時間，甚至比跟我講的話還多。」卡根幽默地用親身經歷，解釋AI在人類日常生活中，早已如水、電般，無處不在。

「當一項技術真正成為基礎設施，就是人們不再為它感到驚奇，而是開始在它斷線停機時抱怨的時候。」卡根指出，人類可以透過AI學會如基因、蛋白質以及物理學等各種知識，讓AI能以前所未有的深度滲透到每一個產業。

而要讓AI深度滲透到各個產業角落的必要條件，就是充沛的算力。

卡根回想起一九八○年代初期，他任職英特爾時期所設計的最先進晶片，裡頭不過就是十萬個電晶體；四十多年後，單一晶片中的電晶體數量，已高達數百億個，卻仍無法獨自負荷運行AI所需的算力，必須設計一套具韌性的系統，確保成千上萬顆運算晶片，也能像單一晶片般順暢運作。

將無數個精密晶片串聯成系統化的「AI工廠」，正是卡根與輝達共同影響世界的方式，「就像傳統發電廠將燃料轉為能源、工業工廠將原料轉化為產品，AI工廠的本質，是將數據與電力，轉化為人工智慧。」他解釋。

卡根指出，為了架構龐大的AI工廠，他除了擅長的網通技術以外，還必須全盤了解演算法、通訊、硬體與散熱設施管理，更必須掌握應用端的工作流程，也就是黃仁勳期許的「全面性的架構設計」。

在卡根的技術藍圖中，要撐起AI算力，必須依序從三個不同角度著手：首先是把機架內不同GPU連成一體的「Scale-up」（向上擴展）；其次是讓資料中心內不同機櫃步伐協調一致的「Scale-out」（向外擴展）；最後則是「Scaleacross」（跨地域擴展），透過高速網路將分布在各地的AI工廠串聯，構築成有如「產業園區」的分散式基礎建設。

具有超低延遲、不塞車特性的InfiniBand技術，則是輝達確保整座AI工廠裡所有GPU都能完美同步發揮戰力的關鍵要素。談到現在火紅的CPO（共同封裝光學）技術，卡根分析市場仍會「盡一切可能繼續使用銅線」，因其功耗與成本最划算，但物理極限終將迫使產業轉向光通訊。

然而，當代理式AI（Agentic AI）時代到來，資料中心內CPU、GPU與DPU（資料處理器）的分工合作模式，也必須隨之升級。

由於代理式AI意味著模型除了運算以外，也必須具備自主規畫任務順序、且不會相互干擾的能力，因此讓功能有如交響樂團指揮家的CPU，重新扮演關鍵角色。輝達也因此設計出專為代理式AI打造的Grace CPU。

至於專責資料傳輸與存儲虛擬化作業的DPU，則被卡根定位為「運行資料中心作業系統的專用電腦」。卡根解釋，在代理式AI時代，系統若要追求最高效率與安全隔離，就不能少了DPU這個獨立運算平台，因此輝達多年前就已推出DPU產品。它不與應用處理器共用資源，好讓CPU與GPU得以心無旁騖、無後顧之憂地專注於算力輸出。

當AI工廠漸臻完善，能充分支援複雜的模型訓練與運算工作後，AI就能進一步走向實體世界。能比照人類即時決策的機器人，則是最受人期待的應用。

卡根腦中勾勒出的藍圖，是用三套電腦架構，共同驅動人形機器人。第一台是負責在雲端訓練基礎大模型的AI工廠；第二台是作為機器人虛擬訓練場的數位孿生模擬器；第三台則是內建於機器人本體、負責即時決策的邊緣電腦。

▲輝達的人形機器人仰賴AI工廠、數位孿生與邊緣電腦協同驅動，在虛擬世界快速累積經驗。取自NVIDIA YouTube
AI走進實體世界
機器人與晶片設計迎變局

「如果我買了一個擦窗機器人，我不希望它在我的地板上或大樓旁，以摔落的方式去學習重力法則。」他詼諧地比喻，在擁有人工智慧的機器人或自駕車系統進入真實世界前，應先將它們放進精確模擬的虛擬數位孿生世界，在確保安全的前提下，快速地體驗現實中罕見的危險狀況。

身為業內老將，卡根觀察AI的進展，也在重塑半導體產業本身。他提到，業界已經出現利用AI在一周內設計出RISC-V架構晶片的案例，「借助有AI的EDA（電子設計自動化）工具，工程師將能在數位孿生世界中同時模擬、對比多種晶片架構。」

「有了AI輔助，真的是沒有上限了，天空對我們而言只是下限，是剛起步的地方。」卡根雙眼閃爍著光芒。

「台灣曾是PC革命、網路革命、行動與雲端革命的震央（Epicenter）。今天，在這場將智慧工業化的全新革命中，台灣依然會是無可爭議的中心。」在半導體展演講的尾聲，卡根感性歸結台灣的關鍵地位。

卡根還在努力改變世界，台灣，則勢必會是他時常造訪的槓桿支點。

輝達投資聯發科背後想把更多客戶綁進自家AI工廠

專訪輝達技術長卡根的前一晚，輝達執行長黃仁勳剛宣布以35億美元，認購聯發科發行的海外可轉換公司債，兩家公司因此從合作夥伴升級為投資關係。

被問到輝達與聯發科深化合作背後的盤算，卡根謹慎回應，這場人工智慧革命的規模太過巨大，任何一家企業都無法包辦所有事情，「沒有任何人可以單打獨鬥。」

他表示，輝達的策略並非靠封閉生態鎖定客戶，反而是「徹底開放我們正在做的一切」，因此公司在開源軟體、開源硬體及開源模型上投入了巨大資源，目的就是為了建立且賦能生態系，並盡可能與生態系合作夥伴建立聯繫。

輝達高效能運算與AI超大規模基礎設施解決方案資深總監哈里斯（Dion Harris）指出，輝達與聯發科的合作不論在深度或廣度上都極為獨特，聯發科將採用輝達推出的NVLink Fusion平台，為其客製化XPU（異質運算處理器組合）客戶提供一條預先驗證的管道，與機架級AI工廠整合。此外，雙方合作也延伸至邊緣AI晶片、車用晶片等領域。

業內人士則分析，市場盛傳，目前聯發科與輝達除了在超級電腦GB10晶片與車用晶片上合作外，還正共同開發一顆全新ASIC晶片，業界正密切觀察下一步進展。但各方普遍認為，推廣基於自家通訊技術NVLink而來的NVLink Fusion平台，仍是輝達攜手聯發科的核心目標。

卡根解釋，NVLink Fusion的功能是透過軟體把眾多GPU晶片視為「單一運算單元」來調用，為了讓成千上萬顆運算晶片能像單一運算單元般完美、低延遲地協同運作，輝達團隊經歷了數個產品世代的演進，耗費了許多年，「工程師們為此留下了滿身的傷疤，才終於讓它順利運作。」

卡根直言，如果客戶不想讓自家工程師團隊花上好幾年時間，痛苦地體驗「為什麼僅丟失一個封包就導致整個應用程式崩潰」這種噩夢，可以採用輝達這套經過生產驗證的NVLink Fusion，並在它的基礎上進行運算創新。

然而，一名高速運算晶片業者坦言，現階段雲端業者就是希望不全面受制於輝達，才會選擇自研晶片，因此也未必會基於便利性，而冒著「被輝達綁得更緊」的風險，選用NVLink Fusion。（王子承）