ggml, 마침내 1.0.0 도달 — 낡은 API 걷어내고 모든 백엔드 손봤다
Ggml v1.0.0
llama.cpp의 토대인 ggml이 v0.29.0 이후 첫 메이저 버전 1.0.0을 냈다. 폐기 예정 API와 레거시 DIAG_MASK 연산을 정리하고 RPC 프로토콜을 v9로 올려 호환되지 않는 피어를 거부한다. YaRN truncation 설정과 FP8 지원이 추가됐고, CUDA·Metal의 few-row 양자화 matmul과 MoE fusion, Vulkan prefill FlashAttention, SYCL 디바이스 측 MoE 스케줄러, OpenCL Adreno FlashAttention, WebGPU 신규 커널, Hexagon 연산 확대 등 백엔드 전반의 성능 작업이 담겼다. 스케줄러는 읽지 않는 입력 업로드를 건너뛴다.
스케줄러가 읽히지 않는 입력은 업로드하지 않고, 이전 split이 만들어낸 입력만 미리 가져온다.
HN 토론
68- jacquesm
이 프로젝트와 llama.cpp가 정말 인상적인 점은 같은 하드웨어에서 코드를 더 빠르게 만드는 새로운 방법을 계속 찾아낸다는 것입니다. 업그레이드할 때마다(한 달에 한 번 정도) 보통 5~10%의 속도 향상이 있습니다.
edit: 확인차 말하자면, 오늘 업그레이드할 계획이었고 평소처럼 벤치마크를 전후로 실행했는데 런타임이 4:22에서 3:59로 줄었습니다. 정말 긴 프롬프트(50K 토큰)라서 prefill이 상당 부분을 차지하고 나머지는 토큰 생성에 쓰입니다.
- evilelectron
멋지네요! ggml과 llama.cpp는 AI 세계의 Linux입니다. 한 비트씩 로컬 추론을 이끌고 있어요.
무한한 전력과 배터리 부족을 겪지 않는 날이 있기를 바랍니다. 존경과 사랑을 담아. 계속 힘내세요.
- kodoman
오랫동안 llama.cpp 사용자(그리고 다른 ggml 기반 AI 프로그램 사용자)로서 vulkan만 지원하는 형편없는 AMD 카드에서 돌리는데, GGML과 llama.cpp 덕분에 쓸 만합니다. 훌륭한 프로그램, 훌륭한 프로젝트입니다.
- palad1n
저는 이 진입점을 선호합니다: https://github.com/ggml-org/ggml
- hizlikovboy27
제 생각에는 이건 진짜 엔지니어링 제품입니다.
LLM.cpp, 우리의 어려운 시기의 구원자...