고객 지원은 오늘날 속도, 개인화, 상시 가용성에 대한 높아지는 기대치를 충족해야 하는 엄청난 압박을 받고 있습니다. 하지만 기업은 여전히 다음과 같은 문제로 어려움을 겪고 있습니다.
- 긴 대기 시간 및 콜센터
- 대기열
- 단절된 지원 채널
- 업무 시간 외 에이전트 가용성 제한
- 반복적인 문제로 인한 귀중한 인적 자원 낭비
- 즉각적이고 맥락에 맞는 답변 부족으로 인한 사용자 불만
이러한 비효율성은 기업에 연간 3조 7천억 달러 이상의 손실을 초래하며, 연구에 따르면 에이전트의 70% 이상이 문제를 직접 해결하는 대신 올바른 답변을 찾는 데 과도한 시간을 소비합니다.
음성 AI 에이전트가 지원 경험을 혁신하는 방법
Azure OpenAI, Azure AI 서비스 및 ServiceNow로 구동되는 음성 지원 AI 에이전트 시대가 도래했습니다. 이는 고객이 지원 시스템과 상호 작용하는 방식을 완전히 변화시키도록 설계되었습니다.
이러한 에이전트는 이제 다음을 수행할 수 있습니다.
- 자연어로 복잡한 사용자 쿼리 처리
- CRM, ITSM, HR과 같은 엔터프라이즈 시스템에 실시간으로 액세스
- 비밀번호 재설정, 티켓 상태 업데이트 또는 반품 추적과 같은 반복적인 작업 자동화
- 인간의 지원이 정말로 필요한 경우에만 에스컬레이션
- 부서 간 연결되고 원활하며 지능적인 지원 경험 창출
기업이 이러한 에이전트를 효과적으로 배포할 수 있는 네 가지 아키텍처 패턴을 자세히 살펴보겠습니다.
🔷 아키텍처 패턴 1: Azure AI + ServiceNow + CRM 통합을 통한 통합 음성 에이전트
이 아키텍처에서 고객 지원 여정은 사용자가 웹 애플리케이션, 모바일 앱 또는 스마트 장치와 같은 프런트 엔드 인터페이스를 통해 음성 기반 대화를 시작할 때 시작됩니다. 캡처된 오디오는 Azure OpenAI GPT-4o의 실시간 API로 직접 스트리밍되어 즉시 음성-텍스트 변환을 수행하고, 요청의 의도를 해석하고, 초기 시스템 응답을 준비합니다. 이 모든 것이 단일하고 원활한 스트림에서 이루어집니다.
사용자의 의도를 이해하면 (예: "티켓 생성", "사건 상태 확인" 또는 "최근 문제 목록 표시"), GPT-4o는 Semantic Kernel로 제어를 넘겨 함수 호출을 통해 다음 단계를 오케스트레이션합니다. Semantic Kernel은 createIncident, getIncidentStatus, listIncidents 또는 searchKnowledgeBase와 같은 ServiceNow API 작업에 매핑되는 사전 정의된 도구(함수)를 호스팅합니다.
이러한 함수 호출은 REST API를 통해 ServiceNow로 안전하게 라우팅됩니다. ServiceNow는 새 지원 티켓 생성, 미해결 사건 상태 검색 또는 지식 기반 검색 등 적절한 작업을 실행합니다. 필요한 경우 CRM 데이터에도 원활하게 액세스하여 고객 기록 또는 사례 메타데이터와 같은 개인화된 컨텍스트로 응답을 풍부하게 할 수 있습니다.
ServiceNow의 결과 (예: 사건 ID 또는 KB 문서 요약)는 Azure GPT-4o로 다시 전송되어 구조화된 데이터를 자연스러운 음성 응답으로 변환합니다. 이 최종 오디오 출력은 사용자에게 실시간으로 전달되어 엔드 투 엔드 대화 루프를 완료합니다. 또한 Azure Monitor 또는 Application Insights와 같은 도구를 통합하여 원격 측정을 기록하고, 사용량 추세를 추적하고, 대기 시간을 모니터링하고, 시간 경과에 따른 사용자 만족도를 분석할 수 있습니다.
이 아키텍처를 통해 조직은 고객 지원 운영을 간소화하고, 대기 시간을 줄이고, 모든 채널에서 자연스럽고 지능적인 지원을 제공할 수 있습니다. 특히 음성 우선 채널에서 더욱 그렇습니다.
🔷 아키텍처 패턴 2: 다중 에이전트 음성 아키텍처를 통한 확장 가능한 고객 지원
이 아키텍처는 음성 인터페이스를 통해 지능적이고 확장 가능한 고객 지원을 제공하기 위해 모듈식 및 분산 에이전트 기반 설계를 도입합니다. 프로세스는 모든 사용자 대화의 진입점 역할을 하는 사용자 프록시 에이전트에서 시작됩니다. 이는 음성 입력을 캡처하고 아키텍처의 두뇌 역할을 하는 마스터 에이전트로 요청을 전달합니다.
대규모 언어 모델 (LLM)과 메모리로 강화된 마스터 에이전트는 사용자 입력의 의도를 해석하고 가장 적절한 도메인별 에이전트로 요청을 동적으로 라우팅합니다. 여기에는 특정 워크플로 또는 비즈니스 작업을 처리하도록 설계된 활성화 에이전트, 루트 에이전트, 영업 에이전트 또는 기술 에이전트와 같은 특수 에이전트가 포함됩니다.
- 활성화 에이전트는 웹 서비스에 연결하여 프로비저닝 또는 온보딩 시나리오를 처리합니다.
- 루트 에이전트는 Azure Cognitive Search와 같은 문서 검색 시스템을 활용하여 내부 문서에 기반한 질문에 답변합니다.
- 영업 에이전트는 구조화된 로직 모델 (SLM) 및 CRM 액세스를 갖추어 백엔드 데이터베이스에서 영업 관련 데이터를 검색합니다.
- 기술 에이전트는 Docker를 통해 컨테이너화되고 백엔드 진단, 코드 수준 문제 또는 인프라 상태 관리를 위해 구축됩니다. 종종 실시간 ITSM 실행을 위해 ServiceNow와 같은 시스템에 연결됩니다.
각 에이전트가 작업을 실행하면 결과가 마스터 에이전트를 통해 다시 전달되어 최종적으로 음성 응답으로 출력을 합성하고 사용자에게 전달하는 사용자 프록시 에이전트로 전달됩니다.
에이전트 간의 공유 메모리는 다중 회전 대화에서 컨텍스트를 유지 관리할 수 있도록 지원하여 연속성을 깨지 않고 복잡한 다단계 상호 작용 (예: "티켓 생성, 최신 주문 상태 확인 및 해결되지 않은 경우 에스컬레이션")을 가능하게 합니다.
이 아키텍처는 기존 워크플로를 중단하지 않고 새 에이전트를 추가하여 고객 지원을 수평적으로 확장하려는 기업에 이상적입니다. 병렬 처리, 전문화 및 실시간 오케스트레이션을 가능하게 하여 인간 에이전트의 부담을 줄이면서 더 빠른 해결을 제공합니다.
IT, HR, 영업 및 현장 지원 전반에 걸쳐 분산된 지원 운영에 가장 적합합니다. 여기서 작업별 인텔리전스 및 모듈식 규모가 중요합니다.
🔷 아키텍처 패턴 3: 음성 RAG + Azure AI + ServiceNow를 통한 고객 지원 재창조
이 아키텍처는 음성 AI 에이전트를 통해 활성화하여 RAG(Retrieval-Augmented Generation)에 최첨단 트위스트를 제공하여 엔터프라이즈 지식에 기반한 진정한 대화형 경험을 만듭니다. Azure OpenAI 모델과 ServiceNow Knowledge Base를 결합하여 이 패턴은 직원 또는 고객에게 실시간으로 정확한 음성 기반 지원을 보장합니다.
프로세스는 사용자가 전화, 웹 또는 임베디드 지원을 통해 음성 지원 인터페이스와 상호 작용할 때 시작됩니다. 음성 AI 에이전트는 오디오를 Azure OpenAI GPT-4o로 스트리밍하여 음성 입력을 전사하고 의도를 이해한 다음 RAG 파이프라인을 트리거합니다.
모델의 내부 메모리에만 의존하는 대신 시스템은 ServiceNow 제품 지식 기반에 대해 실시간 쿼리를 수행하여 관련 지식 문서, 문제 해결 가이드 또는 지원 워크플로를 검색합니다. 이러한 결과는 프롬프트에 직접 포함되어 Azure AI Foundry를 통해 언어 모델로 전달되는 풍부한 컨텍스트를 만듭니다.
그런 다음 모델은 자연스럽고 맥락에 맞는 음성 응답을 생성하여 다시 오디오로 변환되어 사용자에게 음성으로 전달됩니다. 이를 통해 원활한 엔드 투 엔드 음성 RAG 환경을 만듭니다. 이 접근 방식을 통해 응답은 대화형일 뿐만 아니라 신뢰할 수 있는 엔터프라이즈 지식에 깊이 뿌리를 내릴 수 있습니다. 사용자가 자연스럽게 말하는 것을 선호하고 실시간으로 검증된 문서 지원 응답이 필요한 헬프데스크 자동화, HR 지원 및 IT 문제 해결에 이상적입니다.
🔷 아키텍처 패턴 4: AI 아바타와 Azure AI를 통한 대화형 고객 지원
이 아키텍처는 AI 아바타, Azure AI 및 ServiceNow를 통합하여 풍부하고 대화형 경험을 제공하여 채널 전반에서 인간과 같은 지능형 고객 지원을 제공합니다. 자연스러운 음성, 표정 및 엔터프라이즈 데이터를 결합하여 매우 매력적인 지원 지원을 만듭니다.
상호 작용은 사용자가 웹 포털, 모바일 장치 또는 키오스크에 포함된 AI 아바타 애플리케이션과 대화할 때 시작됩니다. 음성이 캡처되어 음성-텍스트 파이프라인을 통해 처리되어 아바타 모듈과 라이브 토론 엔진에 공급되어 립싱크, 감정적 톤 및 턴 테이킹을 관리합니다.
내부적으로 아바타는 CNV(Custom Neural Voice) 및 Azure OpenAI를 포함한 Azure AI 서비스에 연결되어 아바타가 의도를 이해하고 자연스러운 대화형 언어로 응답을 생성할 수 있습니다. 가장 중요한 것은 시스템이 ServiceNow 플랫폼과 직접 통합된다는 것입니다.
보안 API를 통해 아바타는 ServiceNow에 다음을 쿼리합니다.
- 사례 상태 업데이트 검색
- 사건 기록 요약 제공
- 지식 기반 문서 조회
- 필요한 경우 사건 생성 트리거
이러한 ServiceNow 결과는 다국어 음성 합성 지원을 통해 텍스트-음성 모듈을 통해 전달되고 표현 애니메이션을 사용하여 아바타에 의해 렌더링됩니다. 응답은 실시간 또는 사전 렌더링된 아바타 비디오로 시각적으로 전달되어 진정으로 대화식이고 개인화된 경험을 만듭니다.
이 패턴은 기본적인 질문에 답할 뿐만 아니라 동적 엔터프라이즈 데이터를 표시하여 AI 아바타를 IT, HR 또는 고객 서비스 도메인 전반에서 실시간으로 연결된 지원이 가능한 최전선 음성 에이전트로 전환합니다. 얼굴 표정, 공감 및 백엔드 통합이 필수적인 브랜드 디지털 경험, 최전선 지원 스테이션 또는 HR/IT 헬프데스크 자동화에 가장 적합합니다.
✨ 결론: 고객 지원의 미래가 여기에 있습니다
고객 기대치는 진화했으며 지원 제공 방식도 진화해야 합니다. Azure OpenAI, Azure AI 서비스 및 ServiceNow의 강력한 기능을 결합하여 단순히 작업을 자동화하는 것이 아니라 조직이 사용자와 연결하는 방식을 재창조하고 있습니다.
다음과 같은 경우:
- IT 티켓 및 CRM 쿼리를 처리하는 통합 음성 에이전트,
- 부서 전반에서 확장되는 다중 에이전트 아키텍처,
- 실시간으로 지식 기반 답변을 제공하는 음성 지원 RAG 시스템 또는
- 얼굴을 맞대고 지원을 제공하는 인간과 같은 AI 아바타—
이러한 아키텍처는 지능적이고 대화형이며 확장 가능한 고객 서비스의 새로운 시대를 주도하고 있습니다.
👉 5월 6일에 시작되는 ServiceNow Knowledge 2025 기간 동안 Microsoft 부스에 방문하여 이러한 솔루션을 라이브로 경험하고, 그 뒤에 숨겨진 기술을 탐구하고, 비즈니스를 어떻게 변화시킬 수 있는지 상상해 보세요.
지원이라는 미래를 함께 만들어 갑시다.