DeepSeek, Opus 5를 앞선 에이전트 성능으로 V4.1-Flash 소규모 업데이트 공개
DeepSeek-v4.1-Flash-1017
DeepSeek-V4.1-Flash-1017은 기존 V4.1-Flash의 소규모 업데이트지만 추론·코딩·에이전트·시각 벤치마크 전반에서 성능이 크게 올랐다. Terminal-Bench 4.0은 31.2에서 42.3으로, ProgramBench는 20.3에서 29.1로 뛰었고 Agents' Last Exam과 Apex Bench에서도 Opus 5를 앞섰다. 동시에 작업 수행 시간과 출력 길이를 줄여 더 빠르고 저렴하게, 성능-비용 파레토 프런티어를 밀어냈다. MIT 라이선스로 공개됐다.
이번 릴리스는 Jinja 형식의 채팅 템플릿을 포함하지 않는다.
HN 토론
534- OsrsNeedsf2P
DS가 벤치마크에서 Sol이나 Gemini보다 나은 건 아니지만, 이들과 한동안 작업해보니 사람들이 왜 DS가 _훨씬_ 낫다고 느끼는지 이해가 가기 시작했다.
첫째, 제공업체들의 tok/s와 TTFT다. DeepSeek는 꽤 좋은 품질로 작업을 순식간에 처리해서 에이전트가 끝나기를 기다리는 일이 없다.
둘째는 개방성이다. CoT를 볼 수 있고 사이버 리뷰 때문에 무작위로 차단되지 않는다. 멈춘 건지 아니면 무작위로 실패할 건지 걱정할 필요가 없다. 뛰어난 가성비까지 더해지면.. 내 다음 구독은 아마 Z.ai가 될 것 같다.
- gregwebs
회사 자체 뉴스 페이지: https://api-docs.deepseek.com/news/news261017
이 새 버전이 여러 코딩 벤치마크에서 훨씬 높은 점수를 받고 있으며, 11개 벤치마크 중 10개에서 Sol 5.6(최신은 6.1)을 앞선다고 보여주고 있다.
나는 코드 작성에 DeepSeek로 돌아가려고 한다. Sol을 써보면서 결과가 마음에 들었지만, 이번 업데이트로 그 격차가 많이 줄어들 것이다. 나는 구현 계획과 코드 리뷰에 Opus/Sol을 쓰고, 캐묻는 용도로도 쓴다. DeepSeek도 검증을 실행하고 있다.
- a11r
부정적인 데이터 포인트 - 우리는 이전 DeepSeek Flash 모델들(원래 4.1 flash와 더 작은 4.0 flash 모두)을 평가했는데, 둘 다 과잉 사고(overthinker) 경향이 있었다. 우리 워크로드는 잘 정의되어 있지만 중간 정도로 어려운 코딩 작업인데, 오픈 웨이트 모델 중에서는 GLM5.3 flash가 가장 성능이 좋고 Qwen3.8 flash가 근소한 차이로 2위다. DeepSeek 4.1 flash는 낮은 사고 수준에서는 실패하고, 가장 높은 사고 수준에서는 작업을 성공적으로 완료하지만 엄청난 양의 토큰(한 자릿수 배 더)을 소비한다. 이번 최신 릴리스는 "모델이 작업 실행 시간과 출력 길이를 줄인다"고 특별히 주장하니 평가해볼 것이지만, 기대는 낮게 유지하고 있다.
- jmward01
이 모델이 바로 OpenAI와 Anthropic이 규제 장벽을 원하는 이유다. 우리에게는 이와 같은 다양성이 더 필요하지, 덜 필요하지 않다. 다양한 생태계가 복잡한 문제에 대한 유일한 장기적 해결책이라고 내가 아는 한, AI 세계가 제시하는 도전도 다르지 않다.
- AmazingTurtle
그래서 사과와 바나나를 비교하는 식으로 좀 해봤다.
4개의 서로 다른 에이전트에게 같은 더러운 코드베이스(200개 이상 파일 변경, C++ 게임 엔진)를 리뷰하게 했다:
- deepseek v4.1 flash (deepseek API 경유): 관련 있는 p1 이슈 하나와 관련 없는 p2 이슈 하나를 찾는 데 20분 걸림
- glm 5.3 flash NVFP4 (TP2 DGX Sparks 경유): 문서 관련 p3 이슈 하나를 찾는 데 1시간 5분 걸림
- gpt 5.6 sol: p1 하나와 p2 하나를 5분 30초에 찾음. 둘 다 관련 있음
- gpt 6.1 sol: p1 두 개와 p2 하나를 4분 30초에 찾음. 둘 다 관련 있음.
언급할 만한 점: 이 발견들 중 겹치는 것은 하나도 없었다.
deepseek v4.1 flash와 gpt 6.1 sol 둘 다에게 발견 사항 요약에 대한 수정 계획을 세우게 했다. 이 특정 시나리오에서: gpt 6.1 sol은 테스트 시나리오를 초과한 191개 요소를 수용하기 위해 버퍼 크기를 128에서 256으로 늘릴 계획을 세웠다. 여유 공간도 포함했다. 반면 deepseek v4.1 flash는 테스트를 만족시키기 위해 정확히 191로 만들기로 결정했다, 예를 들어.
deepseek의 TPS 디코드는 인상적이다. '이거 일하고 있구나' 하는 초조함이나 혼자 남겨진 느낌을 받은 적이 한 번도 없다. 그런데도 내 모든 노력에도 불구하고, 리뷰에 약 4배 더 오래 걸렸고, 더 적게 찾았으며, GPT 6.1 Sol보다 계획도 더 나빴다. 실제 소요 시간 기준이다. 토큰 수는 비교용으로 가지고 있지 않다. 이 모델들을 1-10으로 평가한다면(10 = 최상위 GG), deepseek는 확실한 6.5, 6.1 sol은 아마 7.5-8.0 정도를 주겠다.
- simonw
여기 펠리컨들이 있다. "max" 버전은 11분 넘게 걸렸다: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
deepseek-v4-flash-0731보다 확실히 개선되었다: https://tools.simonwillison.net/markdown-svg-renderer?url=ht...
- apejcic
좋은 업데이트다. 예전 웨이트와 비교해 장황함과 지능을 벤치마크해봤다.
- 추론 노력 = 1이 이제 실제로 쓸 만하고, 지능 손실 없이 예전 웨이트보다 토큰을 2.5배 적게 생성한다.
- 전반적으로 각 추론 노력 수준에서 토큰이 20% 적다.
- 지능과 도구 호출 패턴은 동일하다.
자세한 내용은 블로그 글 https://sference.com/blog/deepseek-v41f-1017-benchmark
- pmxi
웃긴 문장: "DeepSeek-V4.1-Flash-1017은 DeepSeek-V4.1-Flash의 사소한 업데이트로, 추론, 코딩, 에이전트 작업, 시각 벤치마크 전반에 걸쳐 상당한 개선을 제공합니다." (강조는 내가)
- liuliu
제대로 양자화하려면 아직 2~3일이 더 필요하다. 하지만 Mac에서 64GiB 이상 RAM이 있으면 정말 좋은 모델이다. M5 Ultra에서 프롬프트 처리 속도는 ~3400 tok/s, 토큰 생성 속도는 ~50 tok/s로 꽤 쓸 만한 상태다.
- ilitirit
거의 한 달 동안 Agent Swarm 실험에 DS v4.1 Flash를 매일 사용해왔다. GLM-5.3-flash와 Opus 5.5와 비교 테스트했다. 내 기준으로는 DS 4.1이 최고다. Opus 5.5가 여전히 가장 똑똑하지만, DS 4.1의 속도와 가격이 "지능" 격차를 충분히 메워준다. Chief/Builder/Reviewer 스웜을 며칠 동안 자율적으로 돌려봤다. 내 새로운 워크플로는 DS 4.1 Flash가 모든 엔지니어링을 하고 Opus가 그 작업을 리뷰하는 식이 될 것 같다. 4.1 Flash는 정말 인상적인 모델이다. Deepseek 팀에 박수를 보낸다.