llama.cpp의 prompt lookup 드래프팅을 42배 빠르게 만든 방법
Faster prompt lookup drafting in llama.cpp
Hayder Tirmazi가 llama.cpp의 prompt lookup decoding에서 드래프팅 속도를 최대 42배 향상시키고 메모리 사용량을 2.6배 줄이는 최적화를 공개했다. 불필요한 map 복사 제거, std::unordered_map을 ankerl::unordered_dense로 교체, 내부 map을 정렬된 벡터로 변경하는 등 Daniel Lemire와 Martin Ankerl의 연구를 기반으로 한 네 가지 간단한 변경을 적용했다. WikiText-103 코퍼스로 테스트한 결과, 드래프팅 지연 시간이 165.48µs에서 3.98µs로 줄었고 정적 캐시 로드 시간과 메모리 사용량도 개선되었다.
이건 거의 최적화라기보다 버그 수정에 가깝다. 드래프팅 단계마다 내부 map이 여러 곳에서 불필요하게 복사되고 있었다.