針對AI技術發展，NVIDIA 在此次活動上明確將「AI代理」 (AI Agent)定調為全新的作業系統。為了進一步推動AI代理服務的普及與應用，NVIDIA宣布推出專為代理任務打造的Nemotron 3 Ultra開源推理模型，具備5000億個參數規模，以及每個詞元至多對應500億個活躍參數，適用於複雜的AI應用，以及支援本地端運行架構等特性，將能大幅降低企業與開發者導入AI代理的門檻。
AI代理的本質：「大腦」與「軀幹」的結合
NVIDIA團隊指出，現代的AI代理不能單靠大型語言模型 (LLM) 運作，而是由模型與被稱為「Harness」的周邊框架共同組成。這就像是為大腦 (模型)額外加上能實際操作工具的「軀幹」 (周邊框架)。
透過Harness框架，AI代理將能具備記憶功能，並且獲取網頁瀏覽器、終端機與程式碼編輯器等技能或工具存取權限。而AI代理被賦予多種技能或工具之後，將能直接串接、操作諸如微軟Office、SAP、Salesforce等企業級應用程式，並且完成目標執行任務。
在開發場景中，AI代理能在工程師編寫完程式碼後，即可直接透過終端機進行編譯、執行系統測試，並且進行除錯，甚至能持續自主穩定運行長達數十個小時。
講者在現場也實際展示了一個針對舊金山市區刁鑽的停車罰單繳費網站，透過Open Claw建立的AI代理能透過螢幕截圖、光學字元辨識 (OCR)等方式，實現由AI代理自主完成線上圖形驗證碼 (CAPTCHA) 的真人驗證操作，並且順利完成線上繳費，甚至能針對有問題的罰單提出申訴，藉此避免繳納非必要的罰單，藉此展現AI代理在視覺推理與實際操作上的巨大應用潛力。
企業級開源模型：Nemotron 3 Ultra兼顧效能與資料自主權
許多企業亟欲導入AI代理，但是又擔心內部機密資料與自有智慧財產權會因為資料上雲，或在使用過程會有外洩等風險。因此，NVIDIA針對這些需求推出可在裝置端佈署應用的Nemotron 3 Ultra模型。
此外，Nemotron 3 Ultra模型具備在Token生成速度提升5倍，並且在執行AI代理相關任務時，能有效降低30%運作成本的特性，更藉由開放其底層訓練資料集、權重，以及訓練配方，使企業能依照需求自由擷取，或是從原始資料集開始，在內部安全地訓練出符合產業需求的客製化代理服務。
AI代理落地的挑戰與未來藍圖
針對產業界關注的AI代理發展瓶頸、硬體配置及安全防護等議題，NVIDIA團隊進行深入的剖析：
AI代理普及的最大瓶頸為何？
NVIDIA認為，AI代理普及的最大瓶頸在於技術認知落差，以及企業資料存取權的打通。許多人聽過這項技術，但不知如何實際應用於生產力中，而如何讓AI代理在合法合規的前提下，順利存取企業內部的上下文與系統資料，更是目前推動落地的一大挑戰。
未來的AI模型將走向雲端、本地端還是混合架構？
NVIDIA指出，未來將是「混合架構」的天下，系統會透過「模型路由」 (Model Routing)機制，將複雜推理與規劃任務交由雲端強大的前沿模型處理，而針對特定、例行性的任務，則交由本地端或開源模型執行，藉此達到成本與效能的最佳平衡。
在AI代理的運作中，CPU與GPU該如何分工？
GPU將會扮演「大腦 / AI工廠」的角色，負責高速生成Token，而CPU則負責運行Harness框架。當AI代理需要頻繁執行指令、操作檔案系統或瀏覽網頁時，將高度仰賴CPU的單核性能與指令週期。
如何確保沙盒機制的安全性？
為了避免AI代理發生越權存取或做出災難性行為 (例如誤將銀行帳號張貼到社群平台)，NVIDIA透過Agent Toolkit等工具建立安全的執行環境。開發者必須設定嚴格的策略與權限邊界，確保AI代理所有行為都能被限制在可控的沙盒之內。
多代理協作將如何改變軟體開發流程？
未來的軟體開發將轉向「代理團隊協作」，這意味一個架構師代理可能會在GitHub等平台上發出需求，交由開發代理撰寫程式碼，再由QA代理進行測試與驗證。這種端到端的自動化協作，將徹底顛覆傳統軟體工程的生命週期。
AI代理將成為全新作業系統
NVIDIA此次不僅是提供底層算力，更是透過釋出開源模型與完善的安全框架，試圖在「AI代理即新作業系統」的浪潮中，為產業界建立一套完整的標準與生態系。
而未來的開發者，甚至不需要具備深厚的程式開發能力，而是藉由清楚描述應用需求、持續與AI「溝通」，即可輕易建立符合需求的AI代理工具。
NVIDIA團隊成員分享親身經歷，其年幼的女兒因年齡過小而不被允許使用Instagram，但其透過自行建立AI代理服務，進而達成藉由AI代理協助開啟Instagram的目的，因此認為在未來的AI代理開發，程式編碼能力已經不再是絕對必要條件，如何善用AI工具、清楚描述開發需求將會變得更重要。
《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》
討論區