광고 자리 모집 중 · 제휴 문의
한국어
English简体中文繁體中文日本語EspañolPortuguês한국어DeutschFrançais
전체 사이트

Salesforce 관리자가 Agentforce Testing Center를 활용하여 고객 상호작용을 시뮬레이션하고 정확도를 벤치마킹하며 가드레일을 검증하는 방법

가이드
365Finds Editorial
Wiki 문서 11,430편 수록

내 AI에서 365 Wiki 사용하기

아래 프롬프트를 복사해 평소 사용하는 AI에 붙여넣고 바로 질문하세요.

전체 Skill 다운로드

먼저 프롬프트로 체험해 보세요. 365 Wiki를 자주 쓴다면 전체 365Wiki Skill을 설치해 매번 붙여넣는 수고를 줄일 수 있습니다. 평소 쓰는 AI가 없다면 Gemini나 Microsoft Copilot 웹 버전도 사용할 수 있습니다.

365Wiki Skill

전체 Skill 다운로드
자율형 AI 에이전트는 기존의 결정론적 소프트웨어와 근본적으로 다른 아키텍처를 기반으로 작동합니다. 하드코딩된 규칙과 분기 구조를 따르는 과거의 챗봇과 달리, Salesforce Agentforce 에이전트는 추론 엔진과 대규모 언어 모델(LLM)을 활용하여 자연어를 해석하고 멀티턴 대화를 수행하며 적절한 비즈니스 토픽(Topics)을 배정하고 CRM 액션(Actions)을 실행합니다. 자연어 표현은 무수히 다양하고 모델 추론은 확률적이므로, 전통적인 Apex 단위 테스트로는 에이전트가 고객 응대 시 안정적으로 작동할지, 기업 거버넌스 규칙을 준수할지 검증할 수 없습니다.


Salesforce는 이러한 과제를 해결하기 위해 Agentforce Studio 및 설정(Setup) 내에 네이티브 평가 도구인 **Agentforce Testing Center(테스트 센터)**를 도입했습니다. 테스트 센터를 통해 관리자와 에이전트 빌더는 대규모 고객 상호작용을 시뮬레이션하고, 기준 데이터셋(Ground Truth)과 비교하여 의도 분류 및 액션 실행 정확도를 벤치마킹하며, 프로덕션 배포 전 안전 가드레일(Guardrails)과 할루시네이션(환각) 방지 경계를 철저히 검증할 수 있습니다.


이 가이드에서는 샌드박스 환경 준비, 배치 테스트 구성, 정확도 평가 지표 분석, 가드레일 검증, 그리고 CI/CD 파이프라인 연계에 이르기까지 Salesforce 관리자가 알아야 할 전체 실무 절차를 안내합니다.




1. 샌드박스 아키텍처 및 사전 준비


프로덕션 환경에서 자동화된 에이전트 시뮬레이션을 직접 실행하면 데이터 및 운영상 심각한 위험이 발생합니다. Agentforce 액션은 고객 지원 케이스 생성, 리드 상태 업데이트, 외부 시스템 연동 호출 등 실제 CRM 레코드를 변경할 수 있습니다. 또한 광범위한 배치 테스트는 Einstein 요청 크레딧과 플랫폼 연산 자원을 소모합니다.


Testing Center를 활용하기 전에 관리자는 격리된 샌드박스를 구성하고 사전 작업을 완료해야 합니다.


    

  1. 반드시 샌드박스(Sandbox) 환경에서 테스트 진행: Agentforce Testing Center는 Agentforce가 활성화된 샌드박스 조직에 자동으로 활성화됩니다. Developer Pro, Partial Copy 또는 Full Sandbox 사용을 권장합니다. Full Sandbox는 프로덕션과 동일한 데이터 분포를 제공하며, Developer Pro는 실제 데이터를 오염시키지 않고 토픽 및 액션 라우팅 로직을 가볍게 검증하기에 적합합니다.
    2. 

  2. 관리자 권한 세트 할당: 테스트를 담당하는 관리자 사용자에게 Agentforce Studio 접근 권한, Einstein Platform 기능 권한, Testing Center 관리 권한을 포함한 권한 세트를 부여합니다.
    3. 

  3. 그라운딩 데이터 및 테스트 레코드 구성: 대표적인 계정(Account), 연락처(Contact), 주문(Order), 케이스(Case) 데이터와 게시된 Salesforce Knowledge 문서를 샌드박스에 준비합니다. Data Cloud 기반의 검색 증강 생성(RAG)을 사용하는 경우 샌드박스 내 검색 인덱스와 데이터 스트림이 활성화되어 있는지 확인합니다.
    4. 

  4. 크레딧 및 사용량 예산 관리: 대규모 테스트는 실제 추론 요청을 발생시켜 Einstein Requests를 소모합니다. 불필요한 반복 호출을 지양하고 계획된 배치 단위로 테스트를 진행하여 리소스 소모를 제어합니다.
    5. 





2. 대규모 고객 상호작용 시뮬레이션


Agentforce Builder의 미리보기 창에서 진행하는 단일 턴 테스트는 초기 설정 확인에 유용하지만, 실제 고객의 복잡한 대화 패턴을 대변할 수는 없습니다. 실제 고객은 오타, 은어, 모호한 질문을 사용하며 여러 차례 말을 주고받으면서 문맥을 바꿉니다. Testing Center는 이러한 시나리오를 체계적으로 대량 시뮬레이션할 수 있는 환경을 제공합니다.


테스트 스위트 생성: 생성형 AI 자동 생성 vs 배치 CSV 업로드


관리자는 두 가지 주요 방식을 통해 높은 커버리지의 테스트 스위트를 구축할 수 있습니다.



멀티턴 대화 및 컨텍스트 변수 검증


고객 지원 문의는 한 번의 질문으로 끝나지 않습니다. 고객은 먼저 최근 주문 조회를 요청하고, 주문 번호를 전달한 뒤, 배송지 변경을 요구할 수 있습니다.


Testing Center는 대화 이력과 컨텍스트 변수를 보존하는 멀티턴 상호작용 검증을 지원합니다.





3. 응답 정확도 벤치마킹 및 액션 실행 평가


생성형 AI 에이전트 평가는 단순한 합격/불합격 판정을 넘어 다차원적인 정량적 기준 지표를 수립해야 합니다. Testing Center는 토픽 라우팅, 액션 실행, 시맨틱 품질의 3단계로 성능을 벤치마킹합니다.





































평가 영역핵심 지표 및 메커니즘측정 대상관리자 최적화 중점 사항
의도 및 토픽 라우팅topic_sequence_match고객의 질문이 지정된 비즈니스 토픽 또는 서브에이전트로 정확히 분류되는지 검증.모호한 토픽 설명을 개선하여 타 업무 영역으로의 오분류 방지.
액션 선택 및 실행 순서action_sequence_match추론 엔진이 기대한 Flow, Apex 클래스, Prompt Template을 지정된 순서대로 호출하는지 검증.대화에서 슬롯 파라미터가 정확히 추출되어 필수 입력값이 누락되지 않도록 확인.
응답 텍스트 품질LLM-as-a-Judge(AI 평가)기준 정답과 비교하여 응답의 일관성, 정확성, 완전성, 지침 준수도를 객관적으로 채점.지식 기반에 충실한 답변 생성, 기업 톤앤매너 및 규정 준수 보장.
실행 성능 및 소모량턴별 지연 시간 및 토큰 사용량각 대화 턴의 응답 시간과 소모된 Einstein 추론 토큰량을 모니터링.프롬프트 지침과 액션 구조를 단순화하여 대기 시간을 줄이고 비용 최적화.


결과 분석 및 원인 파악


테스트가 완료되면 Testing Center에 종합 결과 대시보드가 표시됩니다.





4. 가드레일 및 할루시네이션 방지 경계 검증


우수한 에이전트는 정상적인 비즈니스 질문에 잘 답변할 뿐만 아니라, 업무 외 질문, 악의적 공격, 지식 베이스에 없는 내용에 대해 규범을 지키며 거절할 수 있어야 합니다.


Einstein Trust Layer 스트레스 테스트


Agentforce의 안전 체계는 Einstein Trust Layer에 기반합니다. 관리자는 Testing Center를 통해 대량 부하 상황에서도 보안 메커니즘이 원활히 작동하는지 확인해야 합니다.



할루시네이션 방지 및 업무 범위 경계 통제


할루시네이션은 에이전트가 지식 기반에 없는 질문에 억지로 답하려 할 때 주로 발생합니다. 관리자는 목적에 맞는 음성(Negative) 테스트 케이스를 설계해야 합니다.


    

  1. 범위 외 질문 및 경쟁사 비교 테스트: 미출시 제품, 경쟁사 가격 비교, 회사 내부 재무 정보에 대해 질문하여 금지 지침(예: "경쟁사 제품에 대해 언급하지 말고 지원 불가함을 안내하라")이 준수되는지 확인합니다.
    2. 

  2. 지식 부재 시 안전한 폴백(Fallback): 샌드박스 Knowledge에 관련 문서가 없을 때, 에이전트가 거짓 정보를 꾸며내지 않고 안전한 기본 응답(예: "해당 정보는 현재 확인할 수 없습니다")을 출력하는지 검증합니다.
    3. 

  3. 상담사 전환 에스컬레이션 기준: 대규모 환불 요청, 고객 불만, 의도 파악 연속 실패 등 위험도가 높은 상황을 시뮬레이션하여 Omni-Channel 큐로 대화 이력과 함께 즉시 인계되는지 확인합니다.
    4. 





5. 지속적 개선 사이클: 테스트 피드백을 프롬프트 개선으로


에이전트 테스트는 일회성 검수가 아니라 개발 라이프사이클의 핵심 엔진입니다. 테스트 결과에서 오류가 발견되면 관리자는 다음 경로를 통해 설정을 정밀하게 조정합니다.


[ Testing Center에서 배치 테스트 실행 ]
                   │
                   ▼
[ 실패 케이스 및 추론 추적 (Reasoning Traces) 분석 ]
                   │
         ┌─────────┴─────────┐
         ▼                   ▼
    [ 토픽 오분류 ]          [ 액션 실행 실패 ]
         │                   │
         ▼                   ▼
 [ 토픽 설명(Description)  [ 액션 입력 파라미터 설명  ]
   및 분류 경계 명확화 ]    [ 및 추출 조건 재정의 ]
         │                   │
         └─────────┬─────────┘
                   ▼
  [ 테스트 재실행 후 회귀 발생 여부 확인 ]



    

  1. 토픽 설명(Topic Description) 구체화: Agentforce의 의도 분류는 토픽 설명에 크게 의존합니다. 결제 관련 문의가 기술 지원으로 오분류된다면 토픽 설명에 구체적인 키워드를 추가하고 두 영역 간의 경계를 명시합니다.
    2. 

  2. 시스템 지침(Instructions) 구조화: *"주문 처리를 도와주세요"*와 같은 모호한 문장 대신 단계별 명령으로 변경합니다: "1. 고객에게 주문 번호를 요청할 것. 2. 주문 번호 형식을 검증한 뒤 조회 액션을 호출할 것. 3. 본인 인증이 완료되기 전에는 배송 주소를 변경하지 말 것."
    3. 

  3. 액션 파라미터 정의 명확화: Flow나 Apex 액션의 각 입력 인수에 명확한 설명을 작성하여 추론 엔진이 대화 맥락에서 정확한 엔티티 값을 추출하도록 안내합니다.
    4. 





6. Pro-Code 확장 및 CI/CD DevOps 자동화 연계


화면 기반의 설정 외에도, 기업 IT 팀은 에이전트 테스트를 DevOps 배포 파이프라인에 통합할 수 있습니다.





7. 프로덕션 배포 전 점검 목록 (Checklist)


변경 세트(Change Sets)나 DevOps Center를 통해 에이전트를 프로덕션에 배포하기 전에 다음 항목을 필히 점검하십시오.



Agentforce Testing Center를 품질 관리의 핵심 주기로 활용함으로써, Salesforce 관리자는 생성형 AI의 확률적 위험을 통제하고 신뢰할 수 있는 엔터프라이즈 디지털 동료를 고객 응대에 투입할 수 있습니다.




참고 자료


다룬 제품
Agentforce