企業 AI 代理

從企業架構師的角度,探討如何透過明確的授權界限、評估機制與持續治理,將 AI 代理轉化為可靠的業務能力。

企業 AI 代理

企業 AI 最深遠的轉變,始於系統不再只是建議人們應該做甚麼,而是開始代他們付諸行動。錯誤的答案可能誤導讀者;錯誤的行動卻可能更改客戶紀錄、洩露機密資料,或作出企業必須履行的承諾。從輔助走向自主執行,改變的是整個責任架構。

作為企業架構師,我認為策略上的核心問題是:企業可以授予系統多少權限,同時仍有證據證明,系統既在授權範圍內行事,也能帶來值得追求的成果。模型能力固然重要,圍繞它的界限、輸入資訊的品質,以及每次發布所遵循的營運紀律,同樣重要。

應用趨勢的預測說明了這項工作的迫切性。2025 年 8 月,Gartner 預測,到 2026 年底,40% 的企業應用程式將包含針對特定任務的 AI 代理,而當時的比例不足 5%。這是一項預測,並不代表轉變已經完成,但它描繪了能夠代我們採取行動的軟件將大幅增加的前景。

採用程度與實際影響必須分開衡量。麥肯錫 2025 年的調查發現,88% 的受訪者表示,其機構至少在一項業務職能中經常使用 AI。約 6% 符合調查對 AI 高績效機構的定義:受訪者認為 AI 帶來至少 5% 的息稅前盈利(EBIT)影響,並創造顯著價值。這是兩種不同的衡量方式,不能視為一個轉化漏斗,藉此斷言 94% 的採用者失敗。同一調查亦發現,23% 的受訪者表示,其機構正於某個範疇擴大代理式系統的應用,另有 39% 正在試驗 AI 代理。機會確實存在,但要在整個企業層面產生影響,仍須另下一番功夫。

其他研究進一步說明了嚴謹執行的必要性,卻未能確立一個適用於所有情況的失敗率。標普全球市場情報於 2025 年 5 月報告,42% 的企業在正式投產前放棄了大部分 AI 計劃。RAND 於 2024 年發表的研究則引用了超過 80% AI 專案失敗的估計,而非透過新的代表性調查得出這個失敗率。這些研究涵蓋的是更廣泛的 AI 專案,以及不同的研究群體。它們應促使我們審視交付的成本效益,而不應被拼湊成一個聳動卻誤導的統計數字。

當「副駕駛」、「代理」與「數碼工作者」這些分類用來描述獲委派的工作時,它們才有實際意義。副駕駛協助人類工作,但步驟次序仍由人掌控。代理則可為了達成有明確界限的目標,自行選擇並執行多個步驟。被稱為數碼工作者的系統,或許能協調整個工作流程,但仍須有明確的人類負責人,為結果承擔責任。這些都是設計上的選擇,並非每個流程都必須依次攀升的階段。

只有當適應能力能改善結果時,提高自主程度才有價值。結果可預期的計算,可能只需要一般軟件;固定的步驟次序,可能只需要工作流程引擎。當下一步的選擇需要理解不斷變化的情境時,代理才開始發揮作用。具備記憶,也不代表代理會自動而安全地從經驗中學習。保留對話、改善模型,以及更改已批准的營運政策,是三項不同的活動,各有不同的驗證與保障要求。

在支撐這些決策的運作體系中,模型只是其中一個組件。代理執行框架(agent harness)提供指令、工具定義、執行邏輯、上下文管理與控制機制。它的循環會提出行動、調用已獲授權的工具、觀察結果,再決定下一步。周邊軟件亦必須判斷何時停止、何時上報,以及如何從部分失敗中恢復。

架構在這裏轉化為具體措施。系統提示可以要求代理遵守交易限額,但只有獨立執行的權限或交易檢查,才能可靠地阻止工具超出限額。以自然語言寫下的政策是指引;在執行行動的關口強制落實的政策,才是控制措施。

因此,每項工具都代表一份授予的權限。存取範圍應按照代理身分、業務目的、獲准接觸的紀錄,以及已批准的操作來界定。短效憑證、明確限額,以及將重大行動的提議與執行分開,都有助管理這些權限。即使將工作轉交另一個代理,原有的限制也必須保留,不能讓委派成為繞過限制的途徑。

風險不能單憑工具名稱判斷。讀取帳戶紀錄可能暴露敏感資訊;搜尋文件可能取得藏於合法內容中的惡意指令。建立內部工單或許是可撤銷的日常操作,但向客戶發送訊息則可能形成商業上的預期。執行程式碼需要隔離環境,並限制網絡及檔案系統存取。真正需要考慮的是敏感程度、後果、可逆性,以及影響範圍。

對重大交易與對外承諾,我會要求人工批准,除非機構已明確授權一種範圍狹窄、經過測試的自動執行方式。審批者需要看見擬議行動、支持證據、受影響的各方,以及具實質意義的替代方案。批准必須綁定該項具體行動,並在相關輸入改變時失效。一個隱藏行動後果的確認按鈕,提供不了多少保障。

安全研究顯示,這是實際問題,而非純粹的理論討論。IBM 發布 2025 年《資料外洩成本報告》時指出,研究涵蓋的機構中,13% 曾發生涉及 AI 模型或應用程式的安全事故;在這些受影響機構中,97% 表示缺乏適當的 AI 存取控制。分母十分重要。這項結果並不代表所有 AI 部署中有 97% 遭到入侵,卻突顯了能力擴張速度超越存取治理所帶來的危險。

代理執行框架必須配備另一套系統:評估框架(evaluation harness)。前者讓系統能夠行動,後者則提供證據,判斷系統在指定條件下的表現是否達到可接受水平。無論是令人信服的示範,還是模型基準測試,都不足以證明企業工作流程已準備好正式投產。

評估應從具代表性的任務及明確的驗收標準開始。測試代理能否完成業務目標、使用已授權的資訊、選擇獲准使用的工具、遵守審批關卡,以及辨識證據不足的情況。測試亦應涵蓋含糊的要求、過時資料、互相矛盾的紀錄、檢索內容中的惡意指令、無法使用的相依服務,以及重複嘗試同一筆交易的情境。一次失敗後重試的請求,絕不能在無人察覺下變成兩筆付款或兩張訂單。

每次修改提示、更換模型、調整檢索機制或更新工具,都應接受相關的回歸測試。除了任務成功率,亦要衡量未經授權的行動、缺乏依據的陳述、上報品質、延遲,以及每項成功成果的成本。綜合分數可能掩蓋罕見卻嚴重的失敗,因此關鍵情境需要各自的發布門檻。自動評分工具可以提供協助,但其判斷必須透過人工審查與客觀檢查加以校準。

評估亦須在發布後持續進行。受控推出、正式環境抽樣、事故分析,以及經過測試的回復程序,能夠提供證據,確認實驗環境中的表現能否延續至真實工作。應記錄版本、檢索所得的證據、工具請求與回應、政策判斷及審批結果,並作適當的敏感資料遮蔽與保留管理。審計人員需要足以核查行動的執行紀錄,以及簡明的決策依據;系統生成的解釋,絕不能被誤當作模型內部推理過程的證明。

資料架構同樣值得重視。結構化系統提供權威紀錄;文件與對話交代機構背景;即時資料流提供最新訊號;計算與執行工具則讓代理驗證數值並採取行動。只有當企業同時界定各項來源的權威性、時效性、責任歸屬與獲准用途,將它們連接起來才有意義。

以來源資料為依據的生成方式(grounding)能減少部分缺乏支持的輸出,卻不能消除幻覺。系統可能檢索到錯誤文件、誤讀正確文件、混合不相容的報告日期,或從準確事實推導出沒有充分依據的結論。檢索所得的文字應被視為證據,而非有權指揮代理的指令。持久記憶需要來源追蹤、有效期限、更正與刪除控制,避免昨天的錯誤成為明天被視作理所當然的事實。

以協助處理投資營運異常的代理為例。它可以檢索交易紀錄、比較交收指示、查閱已批准的程序,並提出解決方案。然而,這並不代表它自動獲准更改常設指示或執行付款。若不同來源互相矛盾,恰當的結果可能是附有充分證據的上報。成功的自動化,也包括知道何時應該停止。

在這個例子中,準備好投產,意味著機構能識別來源紀錄及其時間戳記、解釋擬議方案、核實批准、防止重複執行,以及將結果與權威紀錄系統核對。儀表板顯示代理已完成執行循環,並不足夠。業務成果必須獲得獨立確認。

擴大這種能力的規模,需要合適的營運模式。當業務領域團隊缺乏工程能力時,中央團隊可以確保一致性。當各領域具備技能,亦能承擔自行營運系統的責任時,聯邦式模式便可能奏效。企業規模或代理數量,任何一項都不足以單獨決定最合適的安排。

對於各團隊能力不一的大型企業,我傾向採用混合模式:共用身分管理、政策執行、登記冊、遙測及評估標準,同時由業務領域負責工作流程、資料含義、驗收標準與業務成果。應用程式營運可以維持集中管理,亦可交由具備能力的領域團隊承擔。分工必須明確:平台團隊負責共用基礎設施的可靠性;領域負責人則繼續為代理品質及業務流程的後果負責。跨團隊事故仍須有單一協調者,以及經過演練的上報路徑。

治理可以透過三項實際行動逐步建立:掌握全貌、落實控制,以及在系統變動時持續驗證其可靠性。掌握全貌,意味著建立清單,將每個代理與其負責人、目的、模型版本、資料來源、工具及部署相連。控制包括權限、按風險釐定的審批、預算、執行限額,以及可靠的暫停機制。持續驗證則確保這些控制與評估在環境演變時,依然有效。

我會把成熟度視為規劃工具。當基本政策、預算與日誌記錄到位,初期試驗便逐漸形成初步能力。進入制度明確的階段,則會增加完整清單、明確的責任人,以及個別代理的控制措施。主動治理會將評估與成本門檻嵌入交付流程,並監察正式環境中的行為。優化治理則持續把可靠性驗證、成本效益與成果連繫起來。即使到了這個階段,重大政策變更仍須經過受控審批;成熟並不意味著代理可以自行改寫其權限界限。

下一步應針對最重要的能力缺口。沒有清單的團隊,需要先掌握全貌;有可靠日誌卻沒有回歸測試的團隊,需要建立評估機制;代理在技術上成功運作,卻未能證明效益的團隊,則需要重新審視工作流程設計與商業理據。代理數量增加,並不是成熟度提升的證據。

領導者應以完成的工作為單位,評估成本效益。成本須包括模型使用、資料檢索、工具調用、重試、人工審查、事故處理,以及持續維護。先建立現有流程的基準,再決定釋放出來的工作產能如何創造價值。只有當更快的處理速度能改善服務、減少實際開支,或讓原本無暇處理的有用工作得以完成時,速度才有意義。

企業架構師的貢獻,是將成果與需要改變的能力、所需資訊、授予的權限,以及支持擴大應用的證據連接起來。從一個有明確界限的工作流程開始,為它訂立負責人、營運基準、清晰權限、評估測試集,以及恢復路徑。只有當成果提供支持時,才擴大它的權限。

持久的優勢,將屬於那些能負責任地授權,並以證據持續改善授權方式的機構。速度重要,因為機會不會等待;判斷力同樣重要,因為自動化的錯誤也會隨規模放大。企業領導者必須建立條件,讓兩者可以並存。

返回文章列表