인터뷰 | “AI는 인턴처럼 다뤄라” 세일즈포스가 ‘에이전트포스’에서 배운 1년의 교훈

세일즈포스(Salesforce)의 에이전틱 AI 플랫폼 ‘에이전트포스’가 출시 1주년을 맞았다. 현재 이 플랫폼은 네 번째 버전인 ‘에이전트포스 3’까지 발전했다.

세일즈포스는 이 플랫폼의 ‘고객 제로(customer zero)’로서 스스로를 실험 대상으로 삼고 있다. 세일즈포스의 부사장이자 최고디지털책임자(CDO)인 조 인제릴로는 “지난 12개월은 발견과 학습의 여정이었다”며 “그 과정은 예측 불가능하면서도 놀라움의 연속이었다”고 말했다.

인제릴로는 “고객의 입장에서 봤을 때, 에이전트포스와 이를 기반으로 한 자율형 에이전트는 세일즈포스 내부에 혁신적인 변화를 일으켰다”고 평가했다. 영업 개발 담당 에이전트는 4만 3,000건이 넘는 리드를 관리하며 휴면 상태였던 리드로부터 170만 달러(약 23억 원)의 신규 영업 파이프라인을 창출했다. 고객지원 에이전트는 세일즈포스 헬프 사이트에서 140만 건이 넘는 상담을 처리하며 대부분을 사람의 개입 없이 해결했고, 고객만족도(CSAT) 역시 매우 높은 수준을 유지했다.

인제릴로는 “지원 부문에서 약 1억 달러(약 1,300억 원)의 비용을 절감하면서도 고객에게 이전과 동등하거나 그보다 높은 만족도를 제공할 수 있었다”고 설명했다. 하지만 그는 이러한 성과가 “도전과 실패의 과정을 거쳐 얻어진 결과”라고 덧붙였다.

챗봇이 아닌 ‘에이전트’

인제릴로는 여정 초기에 있었던 실수 중 하나로 “모델을 지나치게 제약했던 점”을 꼽았다. 그는 “초기 단계에서 한 고객이 에이전트에게 경쟁사에 대해 질문했는데, 에이전트가 실제로 답변을 했다”고 회상했다.

“마케팅팀은 그 상황을 달가워하지 않았다. 그래서 우리는 ‘경쟁사에 대해 이야기하지 않는다’는 규칙을 추가했다”고 그는 말했다. 이 규칙에는 광범위한 경쟁사 목록이 포함됐지만, 오히려 문제가 생겼다. 고객이 ‘마이크로소프트(MS) 팀즈를 세일즈포스와 연동하는 방법’처럼 정당한 질문을 했을 때, 에이전트는 마이크로소프트가 경쟁사 목록에 포함되어 있다는 이유로 답변을 거부했던 것이다.

그는 “이것도 우리가 원하는 결과는 아니다. 어느 정도의 관용이 필요하다”라고 표현했다. 이어 “에이전트를 막 시작한 대학생 인턴처럼 대해야 한다. 처음에는 실수하겠지만, 그때마다 얻는 피드백 하나하나가 선물 같은 배움이 된다”고 덧붙였다.

이러한 초반의 시행착오는 세일즈포스가 중요한 통찰을 얻는 계기가 됐다. 바로 “에이전트는 챗봇이 아니다”라는 것이다. 챗봇은 구체적인 지시를 따라야 하지만, 에이전트는 목표를 제시받고 그 목표를 달성하는 방법을 스스로 결정해야 한다.

인제릴로는 “제한을 너무 많이 두면 최선의 경우 챗봇이 될 뿐이고, 최악의 경우엔 챗봇보다 더 못한 결과를 낳게 된다. 기본적인 질문에도 답하지 못할 정도로 제약을 받게 된다”라고 설명했다.

이번 사례에서 해결책은 단순했다. 세일즈포스 팀은 과도한 규칙을 없애고, 에이전트에게 ‘세일즈포스와 고객의 이익을 위해 스스로 판단해 행동하라’는 지침만 남겼다.

인제릴로는 “시작할 때는 단순할수록 좋다. 약간의 미니멀리즘이 필요하다. 모델 튜닝과 데이터 검색을 제대로 하는 데 집중해야 한다. 하지만 너무 제약을 두면 안 된다. 에이전트의 마법은 인간처럼 대화할 수 있는 능력에서 나오기 때문이다. 지침이 지나치게 엄격하면 그 인간적인 매력을 잃게 된다”라고 조언했다.

데이터 위생의 중요성

완벽한 수준의 데이터 위생(data hygiene) 확보는 세일즈포스가 이번 실험을 통해 얻은 또 하나의 중요한 교훈이었다.

인제릴로는 생성형 AI의 다른 형태와 마찬가지로, 자율형 에이전트에서도 ‘환각’ 현상이 우려된다고 설명했다. 즉, 모델이 잘못된 패턴을 학습해 존재하지 않는 정보를 만들어내는 현상이다. 그러나 세일즈포스 팀이 이러한 환각 사례를 직접 조사한 결과, 원인은 대부분 지식 베이스 내에 서로 상충하는 데이터가 포함된 문서였다고 한다.

“사람들은 그동안 데이터를 한곳에 통합하는 것이 가장 어려운 일이라고 생각해왔다. 실제로 예전에는 그랬다. 하지만 이제는 RAG(검색 기반 생성)와 에이전트 덕분에 데이터 접근이 그 어느 때보다 쉬워졌다”고 인제릴로는 말했다. 이어 “문제는 중복 데이터, 특히 서로 모순되는 데이터다. 사람은 이를 직관적으로 구분해낼 수 있지만, 에이전트는 그렇지 못하다”고 덧붙였다.

그는 자율형 에이전트 시대에는 데이터 위생과 데이터 폐기(data retirement) 가 최우선 과제가 되어야 한다고 강조했다. 실제로 세일즈포스는 고객지원 사이트용 에이전트가 오래된 마케팅 페이지에서 구식 정보를 가져와, 최신 도움말 문서와 상충되는 답변을 제시하는 문제를 발견했다. 해당 페이지는 사이트에서 이미 링크가 해제된 상태였다.

이 사건 이후 세일즈포스는 이를 유용한 진단 도구로 활용하기 시작했다. 오래된 데이터 소스를 찾아내 정리하는 데 에이전트를 적극적으로 활용한 것이다. 인제릴로는 “10년 후, 우리가 에이전틱 AI의 초창기를 돌아보면, 데이터 위생이 이 과정을 통해 네 배는 개선됐다고 평가하게 될 것”이라고 말했다.

현재 세일즈포스는 데이터 거버넌스, 소스 정리, 통합을 중심으로 한 다층적 데이터 관리 접근법을 도입했다. 또한 에이전트가 일관된 데이터 자원에 접근할 수 있도록 지식 문서 큐레이션과 검증 프로세스에 지속적으로 투자하고 있다.

아울러 세일즈포스는 세일즈포스 데이터 클라우드(Salesforce Data Cloud) 를 활성화 계층으로 적용해, 데이터를 연결·조화·통합하는 기반으로 활용하고 있다고 인제릴로는 덧붙였다..

인간 중심 경험의 복원

지난 1년 동안 세일즈포스가 얻은 또 하나의 중요한 교훈은, 에이전트를 활용하더라도 ‘인간 중심 경험’이 여전히 가장 중요하다는 사실이었다.

인제릴로는 “에이전트포스를 통해 세일즈포스는 다양한 목적에 맞는 다수의 에이전트를 만들 수 있었다”고 설명했다. 예를 들어, 복리후생 관련 질문에 답하는 웰빙 에이전트(well-being agent), 회의 일정을 지원하는 미팅 에이전트(meeting agent), 그리고 직원의 경력 개발 관련 문의를 처리하는 커리어 에이전트(career agent) 등이 있다.

이들 에이전트는 모두 직원들이 반복적인 업무에서 벗어날 수 있도록 돕기 위해 설계됐다. 그러나 결과적으로 직원 경험이 수십 개의 에이전트로 분산(fragmented) 되는 부작용이 생겼다. 직원들은 어떤 업무를 어떤 에이전트가 처리할 수 있는지 직접 기억하고 관리해야 했다.

이에 세일즈포스는 이러한 문제를 해결하기 위해 올여름 ‘직원 에이전트(Employee Agent)’를 도입했다. 이 에이전트는 여러 다른 에이전트를 대신 호출하며, 직원이 단일 접점에서 모든 요청을 처리할 수 있도록 돕는다. 또한 팀은 ‘관리자 에이전트(Manager Agent)’ 를 만들어 직원 설문 결과를 종합하고 분기별 평가 자료를 제공하도록 했다.

인제릴로는 이 과정을 통해 얻은 핵심 인사이트를 다음과 같이 정리했다. 그는 “에이전트를 단순히 많이 만드는 것으로는 충분하지 않다. 진정으로 효과적인 에이전트를 만들려면, 그것을 업무 흐름 속에 자연스럽게 녹여야 한다”라고 설명했다.

그는 “우리의 에이전트는 별도의 애플리케이션 안에 존재하지 않는다. 직원과 고객이 매일 사용하는 도구에 완전히 통합되어, 자연스럽게 함께 작동하고 있다”라고 설명했다.
[email protected]