Aleph Alpha, 78B 파라미터 Kolibri로 유럽 주권 AI 도전
Kolibri – Tech Report [pdf]
Aleph Alpha가 78.1B 파라미터에 토큰당 3.46B만 활성화되는 영어-독일어 MoE 모델 Kolibri를 Apache 2.0 라이선스로 공개했다. 독일어 비중을 20% 이상으로 끌어올린 24T 토큰으로 사전학습했고, 120만 개 이상의 자체 큐레이션 과제로 강화학습을 진행했다. 공공행정, 산업, 항공우주 같은 규제 영역의 주권적 배포를 겨냥하며, 평가된 오픈 모델 중 영어와 독일어 모두에서 품질 대비 서빙 비용의 파레토 프론티어에 위치한다고 주장한다.
우리는 주권적이고 전문화된 배포, 특히 독일어와 공공행정, 산업, 항공우주 같은 규제 영역에 초점을 맞춰 Kolibri를 만들었다.
- senko
PDF라서 요약에서 발췌해 옮겨본다:
> 이 보고서는 Kolibri를 소개한다. Kolibri는 총 파라미터 78.1B, 토큰당 활성 파라미터 3.46B의 영어–독일어 Mixture-of-Experts 트랜스포머로, Apache 2.0 라이선스로 오픈 웨이트가 공개되었다.
> 우리는 주권적이고 특화된 배포를 목표로 Kolibri를 만들었으며, 특히 독일어와 공공 행정, 산업, 항공우주 같은 규제 도메인에 중점을 두었다. 이런 환경을 지원하기 위해 데이터, 아키텍처, 학습 인프라, 포스트트레이닝, 평가를 포함한 전체 모델 개발 과정을 우리가 통제한다.