기타 Hacker News · 6시간 전

저작권 음원 없이도 성능 1위? 65배 가벼워진 오디오-MIDI 변환 모델 'Dettato' 화제

핵심 요약
  • kobimusic이 2,000만 파라미터 규모의 오픈소스 오디오-MIDI 변환 모델 'Dettato'를 공개했습니다.
  • 기존 오픈소스 1위인 MuScriptor(13억 파라미터)보다 약 65배 작으면서도 벤치마크에서 더 높은 점수를 기록했고, 비공개 모델 Mirelo A2M v1.1 Pro도 소폭 앞섰습니다.
  • 저작권이 있는 음원을 전혀 쓰지 않고 합성 악기·CC 음원·사운드폰트 조합만으로 학습했으며, 결과물의 상업적 이용도 가능합니다.
요약 kobimusic이 공개한 'Dettato'는 오디오를 MIDI로 변환(AMT)하는 오픈소스 AI 모델입니다. 파라미터 수가 2,000만 개(20M)에 불과해 기존 최고 오픈소스 모델이던 MuScriptor(13억 파라미터)보다 약 65배 작지만, 종합 벤치마크 점수 60.8점을 기록해 MuScriptor(47.4점)를 크게 앞섰습니다. 비공개 상용 모델인 Mirelo A2M v1.1 Pro(56.1점)보다도 소폭 높은 성적을 냈으며, 음 시작점(onsets, 70.8점)·프레임(frames, 79.1점)·드럼(52.5점) 등 주요 지표 전반에서 우위를 보였습니다. 특히 주목받는 부분은 학습 데이터입니다. 개발자는 "음악가를 대체하는 것이 아니라 돕는 것"을 목표로 저작권법을 준수하기 위해, 저작권이 있는 상업 음원을 단 한 곡도 사용하지 않았습니다. 대신 URMP 데이터셋의 크리에이티브 커먼즈(CC) 솔로 악기 음원과 합성 악기 녹음, 그리고 약 20개의 사운드폰트를 조합하는 자체 기법('soundfont babies')을 활용해 학습했습니다. 모델은 오픈소스로 공개되었으며 변환 결과물의 상업적 이용도 허용됩니다. 개발자는 약 10개월 전부터 Dettato 작업을 시작했으나 올해 4월경 기존 방식을 폐기하고 처음부터 다시 설계했습니다. 오디오-MIDI 변환을 단순 데이터 문제로 보고 거대 언어모델(LLM)을 붙이면 합성 데이터에 과적합되기 쉽지만, 이를 악보 인식(OMR)처럼 국소적 문제인 '피치 레인(pitch-lane)' 모델로 재정의해 아키텍처 병목을 해결했다고 설명했습니다. 다만 악기별 분리 정확도는 아직 부족하며, 연주용 악보가 아닌 비트에 맞춘 연주용 MIDI를 출력하므로 악보가 필요하다면 Songscription이나 Klangio 같은 도구를 쓰라고 덧붙였습니다.
Sponsored · 광고