Desert Ant Labs, 유럽의 새로운 AI 연구소, 기기에서 실행되는 초경량 모델 18종 공개
Desert Ant Labs: local, fast models that run on device
유럽의 새로운 AI 연구소 Desert Ant Labs가 기기에서 직접 실행되는 소형 특화 모델 18종을 공개했다. 이 모델들은 오디오, 비전, 텍스트 작업을 밀리초 단위로 처리하며, 5년 된 스마트폰에서도 실행될 만큼 가볍다. 예를 들어 Voz는 iPhone에서 Whisper보다 4.7배 빠르게 음성을 텍스트로 변환하고, Clear는 9MB 모델로 5분 분량의 녹음을 1초 만에 스튜디오 품질로 향상시킨다. Redact는 실시간으로 개인정보를 마스킹하며, Tongue는 2MB 모델로 84개 언어를 식별한다. 모든 모델은 월 10만 활성 기기까지 무료로 사용할 수 있으며, Swift, Kotlin, JavaScript SDK를 제공한다.
인퍼런스 비용이 0이 되면, 우리가 제품을 만드는 방식은 완전히 바뀐다.
HN 토론
93- 1dom
이건 AI 모델에 접근하는 멋진 방식이네요. 저는 로컬 LLM의 열렬한 팬인데, 이렇게 로컬에 특화된 모델은 훨씬 더 강력할 거예요.
> 모든 모델은 월간 활성 기기 100k까지 무료입니다. 토큰도, 로그인도 없습니다.
비즈니스 모델은 잘 모르겠어요. 클라우드 LLM 과금은 이해가 됩니다: 요청할 때마다 다른 컴퓨터가 작업을 해주고, 그들의 게이트웨이를 통해 그들의 컴퓨팅을 사용하고 그에 대해 과금을 받는 거니까요.
이 로컬 모델들은 옛날 방식의 소프트웨어 같아요. 가중치를 만들어서 사람들에게 주는 거죠. 만약 당신이 준 가중치에 만족하고, 추론을 위해 당신의 컴퓨팅을 쓰지 않고, 당신에게서 업데이트를 받을 필요도 원하지도 않는다면, 왜 당신이 계속 나와 내 고객에게서 돈을 받아야 하죠?
"하지만 보안을 위해 업데이트를 유지해야 한다"는 말은 이 로컬 모델들처럼 완전히 오프라인으로 실행되도록 설계된 소프트웨어에는 별로 통하지 않아요.
그들이 돈을 받지 말아야 한다는 건 아니지만, 이렇게 진심으로 유용하고 이로운 AI 모델 접근법을 성공적으로 수익화하는 방법이 덜 명확하다는 게 개인적으로 슬프네요.
- shelled
최근 몇 주 동안 받아쓰기를 사용해야 했는데, 많은 앱(사용 중인/vogue)이 내 2021년형 16GB M1 Pro 맥에서 모델을 지원한다는 사실에 pleasantly surprised 했어요(그중 많은 앱이 원격 또는 로컬 모델 엔드포인트 연결도 지원했죠). 동시에 의미 있는 STT 향상을 위해서는 모델 크기가 내가 편안하게 원했던 것보다 더 커졌어요. 더 이상 받아쓰기가 꼭 필요하지는 않지만, 완전히 오프라인인 커스텀 설정을 유지하고 이 모델들을 시험해볼 생각이에요(라이브/스트리밍 STT를 지원하는지는 잘 모르겠네요).
관심 있는 분이 있다면 https://github.com/altic-dev/FluidVoice (이건 훌륭한 앱이에요)와 https://sam-pop.github.io/WhisperDictation 같은 앱이 있어요. 후자는 지금 별이 7개밖에 없지만 더 "직관적"인 것 같아요. 그저 이들이 기기에서 또는 원격으로 사용 가능한 모델에 "연결"할 수 있는 방법을 제공해주길 바랄 뿐이에요.
- momojo
> 전 세계는 매년 10억 대 이상의 쓸만한 폰, 태블릿, 노트북을 출하하며, 대부분은 바로 이 작업을 위해 만들어진 칩을 갖추고 있고, 하루 대부분 유휴 상태로 돈을 지불한 채 있습니다. 모델을 그곳에서 실행하면 경제성이 뒤집힙니다: 호출당 비용도, 왕복 지연도 없고, 기기 밖으로 아무것도 나가지 않습니다.
이거죠. 저는 생체 이미징/바이오테크 애플리케이션용으로 작은 모델(>50MB)을 실행하는데, 거의 모든 README가 시작하려면 외장 GPU가 필요하다고 암시하는 것 같아요. 일부는 그렇지만, 많은 경우, 특히 가장 유용한 것들은 그렇지 않아요. 물론 파인튜닝까지 할 거라면 중요하겠지만, 일반적인 사용자는 그저 핵을 몇 개 감지하고 세포체 비율을 좀 얻고 싶어할 뿐이라고 생각해요.
책상 위의 노트북이 Meta의 SAM을 돌리지는 못하겠지만, 수백 장의 H&E 슬라이드를 밤새 처리하기에는 충분한 컴퓨팅 파워를 가지고 있어요.
- nater5000
특정 작업에 전념하는 작은 모델로 할 수 있는 일이 많다고 확신해요. 저는 항상 진짜 가치는 큰 모델이 커스텀 작업을 위한 작은 모델을 쉽게 만들 수 있는 데 있다고 생각했어요(그런 게 있다는 건 알지만), 어쩌면 작은 모델을 직접 제공하는 게 더 접근하기 쉬운 방법일 수도 있겠네요.
> Swift, Kotlin, JavaScript용 하나의 SDK로 접근 가능
ㅋㅋ 파이썬 SDK가 나오면 알려주세요, 그때 시도해볼게요. 실제 사용 사례가 있다면 이게 결정적인 문제는 아니겠지만, 빠른 "pip install" 명령만 있으면 뭐든 만들어서 시도해볼 의향이 있는 사람으로서, 이건 일단 다시 선반에 올려둡니다.
- sipjca
처음에는 새로운 빠른 전사 모델(voz)에 매우 흥분했는데, 알고 보니 macOS/iOS 전용의 새로운 추론 코드가 붙은 parakeet v3일 뿐이네요.