서울대학교 공과대학 컴퓨터공학부 김건희 교수 연구팀이 말버릇, 추임새, 끼어들기 등 사람의 대화 행동을 인공지능(AI)이 이해하고 재현하는 음성 대화 생성 기술을 개발했다.
이번 연구에서 김 교수 연구팀은 세계 최대 규모의 대화 행동 기반 음성 데이터셋인 'Behavior-SD'를 구축하고, 이를 바탕으로 자연스럽게 음성 대화를 나누는 AI 모델 'BeDLM'을 제안했다.
연구팀은 지난 4월29일부터 5월4일까지 미국 뉴멕시코주 앨버커키에서 열린 '북미 전산언어학회 2025(NAACL)'에서 해당 연구 논문을 발표했으며, 음성 처리 및 음성 언어 이해 분야에서 최고 논문상을 받았다.
NAACL은 컴퓨터가 인간의 언어를 이해, 생성할 수 있도록 해주는 AI의 한 분야인 자연어 처리(NLP) 관련 세계 최고 권위 학회 중 하나다.
연구팀은 사람들이 음성 대화를 나눌 때, 텍스트 대화에서는 잘 나타나지 않는 대화 행동을 보이는 점에 주목했다.
예컨대 사람들은 대화할 때 "음…", "그니까…" 같은 말버릇을 쓰고, 적절한 순간에 "맞아", "응" 같은 추임새를 넣거나, 때로는 상대의 말을 끊기도 한다.
하지만 이런 특징들을 반영하지 못한 기존 AI 대화 시스템의 말투는 부자연스럽고 기계적이라고 봤다.
연구팀은 실제 사람처럼 자연스러운 대화를 나누는 AI를 구현하기 위해선 대화 행동을 반드시 반영해야 한다고 판단했다.
이들은 실제 대화 환경을 최대한 비슷하게 재현하기 위해, 10만개의 대화 패턴과 총 2000시간 분량의 음성 대화를 모아 데이터셋을 구축했다.
이 대규모 데이터는 각 화자가 주고받는 단순한 문장에 세밀하게 구분된 다양한 대화 행동을 주석 처리한 덕에 사람 간의 자연스러운 대화를 정밀하게 구현할 수 있다.
연구팀은 이렇게 구축한 데이터를 바탕으로 행동 기반 대화 생성 모델인 BeDLM을 개발했다.
거대 언어 모델(LLM)에 기반한 BeDLM은 대화 상황과 두 화자의 행동 패턴이 입력되면, 실제 사람 간 대화에 가까운 음성 대화를 손쉽게 만들어내는 AI 기술이다.
추임새를 넣거나 말을 끊는 습관, 말버릇 등의 대화 행동을 자연스럽게 조절해 반영하기 때문에, 기존 AI 대화 시스템의 한계를 극복하고 한층 더 사람다운 음성 대화를 생성할 수 있다.
BeDLM은 향후 팟캐스트 콘텐츠 제작, 상담 AI, 개인 맞춤형 음성 비서 등 사람과 AI 간 상호작용과 정서적 반응이 필요한 여러 분야에서 널리 활용될 것으로 예상된다.
또 상담, 교육, 돌봄 서비스 등 다양한 영역에서 사람과 AI가 더욱 원활하게 소통할 수 있는데 도움이 될 수 있다.
아울러 이번 연구에서 개발된 Behavior-SD 데이터셋과 코드는 모두 오픈소스로 공개돼 국내외 연구자 누구나 자유롭게 활용할 수 있다.
김 교수는 "대화하는 사람은 보통 말하는 중에도 귀를 열고 상대방의 음성적 반응과 시각적 반응에 적응하고 맞춰가며 대화를 이끄는데, 지금까지 개발된 AI 대화 생성 모델은 이를 반영하지 못했기 때문에 그 한계를 넘고자 했다"며 "AI가 사람처럼 자연스럽게 대화하는 기술을 한 단계 더 발전시켰다는 점에서 금번 연구의 의미가 크다"고 말했다.
최영찬 기자 elach1@asiae.co.kr
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제 무단전재 배포금지>
