ggml, 마침내 1.0.0 도달 — 낡은 API 걷어내고 모든 백엔드 손봤다

Ggml v1.0.0

llama.cpp의 토대인 ggml이 v0.29.0 이후 첫 메이저 버전 1.0.0을 냈다. 폐기 예정 API와 레거시 DIAG_MASK 연산을 정리하고 RPC 프로토콜을 v9로 올려 호환되지 않는 피어를 거부한다. YaRN truncation 설정과 FP8 지원이 추가됐고, CUDA·Metal의 few-row 양자화 matmul과 MoE fusion, Vulkan prefill FlashAttention, SYCL 디바이스 측 MoE 스케줄러, OpenCL Adreno FlashAttention, WebGPU 신규 커널, Hexagon 연산 확대 등 백엔드 전반의 성능 작업이 담겼다. 스케줄러는 읽지 않는 입력 업로드를 건너뛴다.

스케줄러가 읽히지 않는 입력은 업로드하지 않고, 이전 split이 만들어낸 입력만 미리 가져온다.
  1. jacquesm

    이 프로젝트와 llama.cpp가 정말 인상적인 점은 같은 하드웨어에서 코드를 더 빠르게 만드는 새로운 방법을 계속 찾아낸다는 것입니다. 업그레이드할 때마다(한 달에 한 번 정도) 보통 5~10%의 속도 향상이 있습니다.

    edit: 확인차 말하자면, 오늘 업그레이드할 계획이었고 평소처럼 벤치마크를 전후로 실행했는데 런타임이 4:22에서 3:59로 줄었습니다. 정말 긴 프롬프트(50K 토큰)라서 prefill이 상당 부분을 차지하고 나머지는 토큰 생성에 쓰입니다.

  2. evilelectron

    멋지네요! ggml과 llama.cpp는 AI 세계의 Linux입니다. 한 비트씩 로컬 추론을 이끌고 있어요.

    무한한 전력과 배터리 부족을 겪지 않는 날이 있기를 바랍니다. 존경과 사랑을 담아. 계속 힘내세요.

  3. kodoman

    오랫동안 llama.cpp 사용자(그리고 다른 ggml 기반 AI 프로그램 사용자)로서 vulkan만 지원하는 형편없는 AMD 카드에서 돌리는데, GGML과 llama.cpp 덕분에 쓸 만합니다. 훌륭한 프로그램, 훌륭한 프로젝트입니다.

  4. palad1n

    저는 이 진입점을 선호합니다: https://github.com/ggml-org/ggml

  5. hizlikovboy27

    제 생각에는 이건 진짜 엔지니어링 제품입니다.

    LLM.cpp, 우리의 어려운 시기의 구원자...

이 날의 다른 글

2026-11-14