WebCodecs의 오디오 지연, Mediabunny가 샘플 단위로 바로잡다
Project Sync: The journey to sample-perfect audio/video sync with WebCodecs
Mediabunny의 Vanilagy는 WebCodecs를 사용한 트랜스코딩에서 오디오가 비디오보다 최대 44ms 늦게 재생되는 문제를 발견했다. 원인은 AAC 인코더의 프라이밍 지연이 타임스탬프에 반영되지 않기 때문. Mediabunny는 임펄스 신호로 각 시스템의 지연을 실측한 뒤 타임스탬프를 음수로 이동시키고, MP4·WebM·MPEG-TS 등 컨테이너별로 음수 타임스탬프를 지원하도록 수정해 완벽한 AV 동기화를 달성했다.
인간이 지연된 오디오를 인지하는 임계값은 125밀리초지만, 오디오가 비디오보다 앞서는 경우는 단 45밀리초만 되어도 감지된다.