Voice Agents That Handle Interrupts - Chintan Agrawal and Daniel Wirjo, AWS
음성 에이전트의 핵심 과제인 턴 테이킹(turn-taking) 문제를 해결하기 위한 세 가지 접근 방식을 제시합니다. 200ms의 응답 시간 제약, 사용자의 말 끊김(interruption) 및 침묵 감지 등 음성 에이전트의 실질적인 성능을 좌우하는 오디오 엔지니어링 측면에 초점을 맞춥니다.
핵심 요약
- 음성 에이전트는 200ms 이내의 응답이 필수적이며, 이를 초과하면 사용자 경험이 저하되거나 대화가 중단될 수 있습니다. 인간은 평균 200ms 이내에 대화 턴을 전환하지만, 일반적인 음성 에이전트는 755ms 이상 소요됩니다.
- 턴 테이킹 문제는 LLM이 아닌 오디오 파이프라인의 음성 활동 감지(VAD) 컴포넌트에서 발생하며, VAD는 침묵 시간, 발화 끊김 등을 감지하고 처리하는 역할을 합니다.
- 세 가지 턴 테이킹 해결 레벨이 제시됩니다. 레벨 1은 Silero VAD를 사용한 기본 침묵 감지, 레벨 2는 STT 서비스의 내장 턴 감지 기능 활용, 레벨 3은 VAD와 함께 Smart Turn과 같은 자체 턴 감지 모델을 사용하는 방식입니다.
전체 요약과 종목별 의견·실시간 분석을 보려면 로그인하세요.
로그인 / 회원가입