Slotstream - Run 104GB Qwen3.8-Flash-Next on Macs with less RAM via SSD streaming

나는 48GB M5를 가지고 있어. 더 큰 모델을 실행할 필요는 없고, 더 긴 컨텍스트를 원해. Qwen3.8-27B-oQ4e-fp16-mtp를 사용해서 컨텍스트 창을 71,680으로 설정하는 데 성공했어. 하지만 더 원해. 비슷한 사양을 가진 사람 중에 컨텍스트 창을 더 높게 설정한 사람 있나?

16GB 통합 메모리로 5 tok/sec가 나온다는 게 믿기 어려워. 열 경고를 무시하지 않는 한 말이야. 나는 16GB M3에서 Qwen3.6-35B-A3B를 실행 중인데, 모든 최적화를 적용하고 최대 메모리와 열 경고를 확인하면서 7-8 tokens/sec를 얻고 있어. https://github.com/deepanwadhwa/samosa-chat

나는 이 분야에서 진전이 있기를 바라고 있어.

사람들은 32G가 로컬 사용에 충분하지 않다고 말하지만, 이런 작업이 그것을 강화하기 위해 진행되어 왔지.

내 희망은 새로운 32G M6가 이런 작업 덕분에 로컬에서 "유용"해지는 거야.

참고로, 나는 Claude와 시간을 보내서 `llama.cpp`용 로컬 러너를 개발했어. Qwen3.6-35B-A3B-MTP(빠름!)와 Qwen3.8-27B(20 tokens/s)를 실행해.

이건 확실히 노력할 가치가 있었어. 다양한 접근 방식과 다양한 옵션을 벤치마킹하고 테스트하는 것이 정말 효과가 있었지. 예를 들어, 나를 놀라게 한 것 중 하나는 Qwen3.8-27B에서 MTP가 속도를 높이는 대신 느리게 만들었다는 거야.

나는 64GB MacBook Pro(M4 Max)를 사용해.

Mac/UMA 논의는 아니지만, GPU에 추가로 설치 가능한 DDR5를 추가할 때가 된 건가? 나는 이것이 득과 실이 있다고 봐. PCIe 5x16은 현재 고급 듀얼 채널 DDR5에서 사용 가능한 대역폭을 거의 최대화하고 있지만, 완전히는 아냐. 나는 하드웨어 전문가는 아니지만, 카드에 넣는 것이 시스템 RAM을 사용하는 것보다 훨씬 더 나은 성능 향상을 가져올 수 있다고 생각해. 그래서 MOE 가중치가 흘려보내지는 이와 같은 시스템이 시스템에 DDR5를 추가하는 것보다 더 높은 성능을 얻을 수 있게 해. 더 큰 모델이 현실에 가까워지고, 이를 활용하는 기술 개발의 경로를 더 많이 제공해. 물론 단점은 카드에 많은 특수 RAM을 넣는 대신 시스템에 넣어 다른 용도로 사용할 수 없다는 거야. 64GB(또는 그 이상) DDR5가 있는 16GB 카드의 자리가 있을 수 있다고 봐. 특히 MOE 및 유사한 기술이 이 개념을 위해 실제로 설계되기 시작하면 말이야.

나는 저비용 하드웨어에서 제대로 된 모델을 실행하려는 이러한 노력을 좋아하며, 이것이 다음 진정한 돌파구가 나올 곳이라고 생각해. 이런 종류의 작업을 더 효율적으로 할수록 이 기술을 민주화할 기회가 커져. '충분히 좋은' 것이 필요하고, '최고급'이 경쟁 우위를 제공하는 한, 비용이 들더라도 가까운 미래에 일반 컴퓨팅의 문이 닫힐 상당한 위험이 있어. 진자가 반드시 되돌아올 것이라는 보장은 없다는 점을 명심해. 한 방향으로 흔들리다가 멈출 수도 있고, 그러면 가진 자에게 부스러기를 구걸해야 할 거야.

각 모델의 이론적 벤치마크만 보고 있는 사람으로서, flash-next가 27b가 해결하지 못한 문제(아마 코드 관련)를 어떤 것들을 해결했는지 공유해 줄 수 있는 사람이 있는지 궁금해.