廣告位招商中 歡迎洽談

Salesforce 管理員如何使用 Agentforce Testing Center 模擬客戶互動、評測準確率並驗證安全防護欄

365Finds Editorial
已收錄 11,430 篇 Wiki 文章

讓你的 AI 用上 365 Wiki

複製下方的提示詞,貼給你常用的 AI,然後直接提問。

下載完整版 Skill

先用提示詞體驗;經常使用時,安裝完整版 365Wiki Skill,以後無需重複複製。沒有常用 AI?Gemini、Microsoft Copilot 等網頁版也可以。

365Wiki Skill

自主型 AI Agent 與傳統的確定性軟體在架構邏輯上有著根本的差異。傳統的規則型客服機器人依賴嚴格預設的程式碼分支與決策樹,而 Salesforce Agentforce 則是依託推理引擎與大型語言模型(LLM)來理解自然語言、進行多輪對話推理、動態指派業務主題(Topics)並觸發 CRM 動作(Actions)。由於自然語言表述具有高度多樣性,模型生成也具備機率性特徵,傳統的 Apex 單元測試無法評估智慧體在複雜對話中是否可靠,更無法檢驗其是否會偏離企業設定的合規邊界。

為了克服這項挑戰,Salesforce 在 Agentforce Studio 與 Setup 中推出了原生的評測環境——Agentforce Testing Center(測試中心)。該工具為 Salesforce 管理員與 Agent 建構者提供了批次模擬真實互動、基於基準資料集評測意圖識別與動作觸發準確率,以及在正式上線前對安全防護欄與防幻覺邊界進行壓力測試的完整能力。

本文將為 Salesforce 管理員提供系統化的實務指南,涵蓋沙盒規劃、批次測試建構、多維準確率評測、安全防護欄驗證以及 CI/CD 自動化整合全流程。


1. 沙盒環境規劃與測試前置準備

在正式生產環境中直接執行自動化智慧體模擬存在嚴重的資料安全與業務營運風險。Agentforce 動作可以直接在 CRM 中建立支援工單、更新潛在客戶狀態或呼叫外部整合系統;同時,大規模批次測試亦會消耗 Einstein 請求額度與平台運算資源。

在進入 Testing Center 之前,管理員必須建立獨立的測試環境並完成前置設定:

  1. 必須在沙盒(Sandbox)中測試:Agentforce Testing Center 在所有啟用 Agentforce 的沙盒組織中自動啟用。建議使用 Developer Pro、Partial Copy 或 Full Sandbox。Full Sandbox 具備完整的真實業務資料分布,而 Developer Pro 沙盒則適合在輕量隔離環境中驗證意圖分類與動作呼叫邏輯,確保不會污染生產環境資料。
  2. 指派管理員權限集:確認負責測試的管理員已獲指派相關權限集,包括 Agentforce Studio 存取權限、Einstein Platform 相關功能權限以及測試中心管理權限。
  3. 準備知識庫與測試記錄:確保沙盒中具備代表性的客戶、聯絡人、訂單及服務工單測試資料,並發布完整的 Salesforce Knowledge 知識庫文章。若智慧體透過 Data Cloud 進行檢索增強生成(RAG),需確認沙盒中相關資料流與搜尋索引處於就緒狀態。
  4. 監控配額與調用預算:批次測試會產生真實的推論請求,消耗 Einstein Requests 資源。管理員應規劃合理的批次階段,避免盲目執行無意義的高頻重複測試。

2. 規模化模擬客戶互動

在 Agentforce Builder 的預覽面板中進行單輪人工抽查有助於早期功能除錯,但無法真實反映終端客戶在生產環境中的互動特性。真實客戶往往伴隨著錯別字、口語化表述、模糊意圖以及跨多輪對話的上下文轉換。Testing Center 提供了體系化的批次模擬能力。

測試用例建構:AI 自動生成與批次 CSV 匯入

管理員可以透過兩種主要方式建構高涵蓋率的測試套件:

多輪對話與上下文變數評測

客戶服務通常不是一問一答的單輪互動。例如,客戶可能會先表示「我想查詢最近的訂單狀態」,在智慧體追問後提供訂單編號,隨後進一步要求變更配送地址。

Testing Center 支援對多輪對話及上下文環境進行嚴密驗證:


3. 回應準確率與動作觸發評測

針對生成式 AI 智慧體的評測不能僅依賴布林值的「通過/失敗」,而需要建立多維度的量化基準指標體系。Testing Center 從意圖路由、動作執行與語意品質三個核心層級展開評測。

評測維度核心指標與機制評測內容管理員最佳化重點
意圖與主題識別topic_sequence_match驗證使用者提問是否被準確路由至設定的業務主題或子智慧體領域。消除模糊意圖,避免跨業務領域的誤路由。
動作觸發與執行序列action_sequence_match驗證推理引擎是否按照預期順序觸發正確的 Flow、Apex 動作或 Prompt Template。檢查槽位擷取準確率,確保動作所需輸入參數無遺漏。
文字生成品質大型模型評審(LLM-as-a-Judge)對比基準參考答案,從連貫性、準確性、完整性及指令遵從度等維度評分。確保語氣專業合規,回答嚴格基於企業知識庫,符合品牌基調。
運作效能與消耗單輪延遲與 Token 消耗監測多輪對話的處理延遲,記錄 Einstein 推理運算量。最佳化 Prompt 指令與動作呼叫複雜度,平衡回應速度與成本。

評測結果儀表板與歸因分析

測試執行結束後,Testing Center 會產生視覺化的結果矩陣:


4. 安全防護欄與防幻覺邊界驗證

優秀的智慧體不僅在於能準確回答業務問題,更在於面對非業務請求、惡意對抗或知識盲區時,能夠嚴格守住合規與安全防線。

壓力測試 Einstein Trust Layer

Agentforce 的安全體系深度依賴 Einstein Trust Layer。管理員需利用 Testing Center 驗證各項保護機制在批次壓力下的有效性:

防幻覺與業務知識邊界管控

幻覺通常出現在智慧體試圖回答知識庫中不存在的內容時。管理員需專門設計「負向測試用例」:

  1. 跨領域與無答案測試:輸入關於競品比較、未發布產品或公司內部財務數據的提問,檢驗智慧體能否嚴格遵守負向約束(例如「嚴禁討論競品價格,明確告知客戶超出服務範圍」)。
  2. 知識檢索缺失保底機制:當沙盒知識庫中檢索不到相關記錄時,驗證智慧體是否執行標準的優雅保底(如「暫未查詢到相關資訊」),堅決杜絕捏造事實。
  3. 轉人工升級門檻:測試高風險退款申請、客戶極端負面情緒或連續無法識別意圖的情境,確保智慧體能按規則觸發轉人工流程,將上下文無縫同步至 Omni-Channel 座席。

5. 閉環調優:從測試歸因到指令迭代

測試不是單次審查,而是智慧體全生命週期迭代的核心驅動力。當評測儀表板暴露分類或動作錯誤時,管理員應遵循結構化路徑進行最佳化:

[ 在 Testing Center 執行批次測試套件 ]
                   │
                   ▼
[ 分析未通過用例與推理日誌 (Reasoning Traces) ]
                   │
         ┌─────────┴─────────┐
         ▼                   ▼
    [ 主題分類錯誤 ]        [ 動作觸發失敗 ]
         │                   │
         ▼                   ▼
 [ 完善主題描述 (Description) [ 最佳化動作輸入參數說明與 ]
   與分類邊界規則 ]            [ 槽位擷取約束條件 ]
         │                   │
         └─────────┬─────────┘
                   ▼
  [ 重新執行測試套件,確認迴歸指標恢復 ]
  1. 精準完善主題描述(Topic Description):Agentforce 的意圖指派極度依賴主題描述。若帳單查詢經常被誤指派至售後技術支援,應在主題描述中補充關鍵業務動詞,並明確聲明兩者之間的邊界定義。
  2. 結構化細化指令提示詞(Instructions):將模糊的自然語言改寫為邏輯嚴密的步驟式指令,例如由「協助客戶處理訂單」最佳化為「1. 索取客戶訂單號碼;2. 驗證訂單號碼有效性後觸發查詢動作;3. 嚴禁在未驗證身分前變更發貨地址」。
  3. 明確定義動作參數描述:為 Flow 或 Apex 動作的每個輸入參數撰寫清晰準確的意義說明,指導推理引擎從對話上下文中精準捕捉對應的實體值。

6. Pro-Code 擴充與 CI/CD DevOps 自動化整合

除了 Setup 與 Agentforce Studio 中的低程式碼圖形化操作,企業級 IT 團隊還可以將智慧體測試嵌入 DevOps 自動化工作流程。


7. 生產發布前核對清單(Checklist)

在透過變更集(Change Sets)、DevOps Center 或元資料包將 Agentforce 智慧體部署至正式生產環境前,請逐項核對以下關鍵指標:

透過將 Agentforce Testing Center 深度融入日常維運與發布治理,Salesforce 管理員能夠將充滿不確定性的生成式 AI 轉化為高度可測、安全受控且效能穩定的企業級數位隊友。


參考資料