NVIDIA, 40개 언어 받아쓰는 오픈 모델 Nemotron 3.5 Transcribe 공개
Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
NVIDIA가 40개 언어 전사, 31개 언어 번역, 13개 언어 화자 구분을 하나의 체크포인트로 처리하는 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 Hugging Face에 공개했다. 약 4B 활성 파라미터로 Hugging Face Open ASR 영어 부문 오픈 모델 1위(5.33% WER)를 기록했고, David AI 다국어 화자 구분 벤치마크에서도 1위다. 자연어 프롬프트로 출력 형식을 지정할 수 있으며, Granary v2 데이터 파이프라인과 NeMo Speech 파인튜닝 도구로 도메인 용어에 맞게 적응시킬 수 있다.
의료 사례 연구에서 파인튜닝은 최선의 프롬프트 대비 홀드아웃 화자의 단어 오류율(WER)을 45.8% 상대적으로 줄였다.
HN 토론
18- xpct
최근에 Nemotron 3를 좀 가지고 놀아봤어요. 괜찮긴 한데, 제가 다뤄본 데이터(일반적인 어휘)에서는 적어도 몇 문장마다 한 번씩 오류를 내더군요. 언젠가는 해결되겠지만, 제가 단어를 인식하는 게 그것보다 더 낫다는 점이 오히려 반가웠어요.
- solarkraft
> Transcribe는 실시간 스트리밍이 아니라 녹음된 오디오용으로 만들어졌습니다.
좀 아쉽네요! Handy의 Nemotron Streaming이 사실상 제 받아쓰기 문제를 해결해 줬거든요. 영어 용어와 브랜드 이름이 섞인 독일어도 정말 잘 인식합니다.
- AkashKaStudio
모델 카드에 따르면, 이건 근거리 화자 전사만 지원하는데, 실험적이긴 하지만 다른 어떤 OSS Speech LLM에서도 제공하지 않는 기능이긴 합니다.