DeepSeek, 552B MoE 모델 V4.1-Flash 공개…KV 캐시는 4분의 1로
DeepSeek v4.1 Flash
DeepSeek이 새로운 아키텍처 계열의 가장 작은 모델 V4.1-Flash를 공개했다. 552B 파라미터 MoE에 비대칭 Causal Encoder–Decoder 구조를 적용해 입력에는 8B, 출력에는 16B의 활성 파라미터만 사용한다. KV 캐시는 이전 세대 대비 HBM 4분의 1, SSD 8분의 1로 줄어 에이전트 비용 부담을 크게 낮췄다. DeepSeek API에서 deepseek-flash로 바로 사용할 수 있으며, 오픈소스 커뮤니티와의 추론 지원 협력도 예고했다.
새로운 Causal Encoder–Decoder 아키텍처: 입력에는 8B, 출력에는 16B의 활성 파라미터만 사용합니다.
HN 토론
565- kouteiheika
DeepSeek의 기술 보고서[1]가 알짜배기 디테일로 가득한 걸 보니 정말 상쾌하다. 반면 Fable의 시스템 카드[2] 같은 건 70%가 "안전", 10%가 꼬마 Claude가 스트레스 받지 않도록 하는 "모델 복지", 그리고 20%가 벤치마크 수치다.
[1]: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/...
[2]: https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system...
- rao-v
트위터에서도 말했지만, DeepSeek이 정말 겁이 없다는 게 놀랍다. 모델을 내놓을 때마다 새롭고 미친 듯이 영리한 아이디어가 가득한데, 어떻게든 항상 최전선에 가까운 규모로 학습을 밀어붙인다.
지난 3년 정도 동안 Anthropic과 OpenAI에서 개발된 영리한 아이디어들에 대한 모든 비하인드 스토리를 다들 알고 싶어 한다는 건 알지만, 내가 진짜 훔쳐보고 싶은 건 DeepSeek의 "훌륭했지만 살짝 기준에 못 미친" 아이디어 노트다.
이 정도 아키텍처 참신함을 정식 릴리스에 담으려면 진짜 미친 것들을 시도하고 있을 게 틀림없다.
- revolvingthrow
이미 HuggingFace에 올라와 있다: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
나쁜 소식은 원래 v4 flash가 284B였는데, 크긴 했어도 로컬에서 돌리기엔 그럭저럭 합리적인 수준이었다. 이번 건 552B라 거의 두 배다. 그래서 벤치마크 점수가 크게 오른 것도 이해가 간다. 내 생각엔 이제 진짜 flash는 아니다.
실제 성능이 벤치마크 뻥튀기인지에 대해서는 모르겠지만, 중국 모델치고는 deepseek가 꽤 믿을 만했다. 그게 유지된다면(그리고 deepseek 4가 가끔 그랬던 것처럼 끝없이 생각하지 않는다면) 아마 오픈 웨이트 모델 중 최신 왕좌일 것이다.
비전도 포함되어 있고, KV 캐시에 뭔가 특이한 걸 적용해서 매우 효율적이다: "[...] 이 설계들은 전역 KV 캐시 풋프린트를 토큰당 890바이트로 줄인다 — 대략 DeepSeek-V4-Flash의 1/4 수준이다". 효율성에 높은 초점을 맞춘 건 고맙지만, 이 시점에서는 flash-flash 버전이 정말 필요하다.
@edit: Engram 메모리가 추가되면서 실제 파라미터 수가 얼마인지 이해가 안 됐다. 내가 이해하기로 4.1 flash는 VRAM이나 RAM에 올리고 싶은 552B 파라미터이고, 그중 약 16B가 활성(프리필은 8B)이다. 여기에 SSD에 넣을 수 있는 196B Engram 메모리가 추가로 포함된다. 아마도.
그게 맞다면 256GB 메모리로는 q4로 모델을 로드하기에도 부족하다 — 100%까지 채울 수 있다고 가정해도 1GB가 모자란다(그러니 맥은 안 됨). 물론 kv 캐시용으로도 얼마간 필요하다. GPU에서 VRAM을 좀 더 확보한 256GB 데스크톱이면 돌릴 수 있겠지만, 일반 소비자용 보드 [...]
- k9294
캐시 히트 가격에 대해 더 많은 사람들이 얘기하지 않는 게 놀랍다: 백만 토큰당 $0.003. 인터넷으로 전송되는 백만 토큰 가격이 캐시 히트보다 더 비쌀 것 같은 느낌이 든다. 네트워크를 통한 컨텍스트 전송 비용이 작업 총비용을 지배하게 되면서 chat completion API가 구식이 되어가는 걸까?
같은 토큰 사용량을 다른 요율로 계산한 것이다: 실제 장시간 실행되는 코딩 작업, 중간 규모 코드베이스, 447턴.
Input 1,026,957
Output 164,667
Cache read 36,554,368
GPT-6-astra
Type Rate Cost Share
Input 10.000 10.270 19%
Output 50.000 8.233 15%
Cache 1.000 36.554 66%
Total 55.057 100%
DeepSeek v4.1 Flash, $0.003 cache hit
Type Rate Cost Share
Input 0.300 0.308 50%
Output 1.200 0.198 32%
Cache 0.003 0.110 18%
Total 0.615 100%
DeepSeek v4.1 Flash, $0.006 cache hit
Type Rate Cost Share
Input 0.300 0.308 42%
Output 1.200 0.198 27%
Cache 0.006 0.219 30%
Total 0.725 100%
가상: DeepSeek 입력/출력 요율은 같지만 캐시가 청구서의 66%를 차지하도록 가격이 책정된 경우.
Type Rate Cost Share
Input 0.300 0.308 21%
Output 1.200 0.198 13%
Cache 0.027 0.982 66%
Total 1.487 100%
이 캐시 개선으로 모델이 장기 작업에서 x2~x2.5 더 효율적이 된다 [...]
- impulser_
DeepSeek이 확실히 세계 최고의 AI 연구소라는 건 아주 명백하다고 생각한다.
모델을 내놓을 때마다 멋진 연구와 발전으로 가득 차 있는 것 같다.
- LaurensBER
첫인상: 정말 강력한 모델이고, 동시에 가격까지 내렸다는 사실 덕분에 주 구독이 끝나고 갱신까지 며칠을 버텨야 할 때 쓰기 좋은 훌륭한 백업 모델이 된다.
또한 시키는 대로 그냥 해주려는 태도가 더 강해진 것 같다. 내가 가장 좋아하는 벤치마크는 내가 소유한 옛 게임의 롬을 다운로드해 달라고 요청하는 것인데, 내 관할에서는 합법이지만 미국 모델들은(Grok 제외) 거부하는 경향이 있다.
- mentalgear
https://xcancel.com/deepseek_ai/status/2097930608790167907
이게 링크여야 한다 (이제 다시 작동하니까! :) )
- cdnsteve
완전히 미친 성능과 벤치마크 결과다. Opus 5와 Sol 5.6을 이기고 있다 https://tokenstead.ai/models/deepseek-v4-1-flash
- swiftcoder
OpenCode Go가 현재 DeepSeek v4.1 flash에 4배 사용량 프로모션을 진행 중이다. 발을 담그기엔 나쁘지 않다(캐시 히트 가격은 아마 여전히 매우 차선책일지라도)
- eile23
아직 코딩에 써본 사람 있나? 더 큰 코드베이스에서 Claude나 GPT 모델과 비교했을 때, 특히 디버깅과 여러 파일에 걸친 변경 작업에서 어떤지 궁금하다.