글자 한번 안 보고 오직 '사람 말소리'만 듣고 대화 배웠다는 AI 등장

요약 트위터(현 X) 창업자 잭 도시가 이끄는 블록(Block)의 사내 AI 연구팀이 텍스트 학습이나 사전 훈련된 모델 없이, 순수하게 인간의 실제 음성 대화 오디오만을 듣고 학습한 실시간 풀듀플렉스 음성 대화 AI '데사(Dessa)'를 공개했습니다. 기존의 보이스 AI들은 사람의 말을 먼저 텍스트로 변환(STT)한 뒤 언어 모델(LLM)을 거쳐 다시 음성으로 바꾸는 방식을 썼기 때문에, 말하는 중간의 미묘한 억양, 한숨, 감정, 끼어들기 타이밍 같은 중요한 정보들이 모조리 버려지는 한계가 있었습니다. 반면 데사는 아기가 부모의 말을 귀로 듣고 자연스럽게 말을 배우듯 오직 날것의 소리 데이터로만 처음부터 훈련되었습니다. 그 결과 데사는 상대방이 말하는 도중 재미있는 포인트에서 동시에 웃음을 터뜨리거나, '목소리 좀 키워줘'라고 하면 자연스럽게 볼륨을 높이고, 감정에 북받쳐 울먹이거나 장난스럽게 비꼬는 뉘앙스까지 포착해 대화합니다. 또한 상대방이 말할 때 '응', '맞아' 같은 추임새를 실시간으로 넣거나 맥락에 맞춰 자연스럽게 말을 끊고 끼어들 수 있는 진정한 동시 양방향(Full-duplex) 소통이 가능합니다. 놀라운 점은 수많은 텍스트 데이터가 필요한 거대언어모델에 비해 수백 배 적은 어휘량으로 언어를 습득했으며, 엔비디아 GB200 NVL72 1대만으로 학습을 마쳤다는 점입니다. 심지어 추론 속도가 실시간보다 빨라 M4 맥스 이상의 맥북 프로 로컬 환경에서도 지연 없이 구동됩니다. 개발진은 AI가 사용자의 고통이나 감정 상태를 인지하지 못하는 기존 텍스트 기반 보이스 AI의 한계를 해결하기 위한 첫걸음이라며, 안전성 검증을 위해 소수 연구자들에게 사전 테스트를 제공하고 있습니다.