MicroLLM Lab lässt sieben winzige LLMs direkt im Browser laufen
MicroLLM Lab – Try 7 tiny LLM's in the browser
MicroLLM Lab führt Small Language Models mit 25 bis 360 Millionen Parametern per WebGPU direkt im Browser aus – ohne Server, ohne Konto, vollständig privat. Die 4-Bit-Quantisierung schrumpft die Modelle auf 15 bis 216 MB, sodass sie in den IndexedDB-Cache passen. Nutzer können laden, chatten, benchmarken und ein Leistungszertifikat teilen. Ohne WebGPU läuft alles im WASM-Fallback mit 8–20 statt 100–300 Tokens pro Sekunde.
Ein 135M-Modell darf ruhig scheitern – genau das ist die Messung.
- demibabs
Cooles Projekt, aber ich würde wirklich empfehlen, mir die UI anzusehen.
Der Text ist zu klein und es ist generell viel zu vollgepackt mit Informationen. Wenn man bedenkt, wie einfach dieses Produkt zu bedienen ist, ist es schon verrückt, dass ich mich durch mehr als eine Seitenlänge (größtenteils nutzloser, KI-generierter) Informationen scrollen muss, bevor ich zur eigentlichen Oberfläche komme.
Und was hat es mit dem Footer auf sich (warum verlinkt er zurück auf die Seite selbst, warum wird mir gesagt, ich solle "serve over HTTP")?
- langurmonkey
Bei mir lädt es nicht in Firefox (v156.0.1, Arch Linux), in Chromium funktioniert es einwandfrei.
Uncaught ReferenceError: GPUShaderStage is not defined
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
webgpu-metal.js:24:17
<anonymous> https://stateofutopia.com/experiments/microllmlab/engine/web...
[MicroLLM lab] App loader failsafe triggered after 6s microllmlab:55:21
- mgaunard
> wie würdest du deine Fähigkeiten mit denen von claude fable 5.1 von anthropic vergleichen
> Ein Vergleich deiner Fähigkeiten mit denen von claude fable 5.1 wäre sehr ähnlich. Beide sind Geschichten über einen Clown, der ein gerissenes und manipulatives Tier ist. Beide haben Probleme und Herausforderungen, und sie stellen sich Herausforderungen, um sie zu überwinden. Allerdings haben sie unterschiedliche Ziele und Ansätze. Der Clown
Ich denke, das sagt einem alles, was man wissen muss.
- tolugenius
Ich habe die Standard-Arithmetik mit PetitGPT research-v1 gemacht
>Was ist 2+2?
Antwort
> Um 2 + 2 zu finden, müssen wir auf beiden Seiten der Gleichung 2 addieren.
> 2 + 2 = 4
> Also ist 2 + 2 = 4 + 2.
Brillant
- beschizza
Smol war das einzige, das eine grundlegende Frage zu JavaScript korrekt beantwortet hat, aber ich liebe diese Antwort von L20 Edu:
Prompt: Ich schreibe ein Textadventure in Vanilla JavaScript und HTML. Der Spieler wird die Tastatur benutzen, um zwischen Bildschirmen zu wechseln oder um Storylet-Optionen im Hauptbildschirm auszuwählen. Das Spiel ist rundenbasiert. Was ist die beste Methode in JavaScript, um Tastendrücke zu erkennen?"
Antwort: Ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer, ich bin ein guter Spieler. Wie auch immer,
- botanrice
Kann mir jemand helfen zu verstehen, ob diese Modelle gut genug sein sollen, um nützlich zu sein? Ich frage sie nach einem Frühstücksrezept und die meisten wiederholen Text und geben mir seltsame Kombinationen wie Hähnchen & Parmesan oder Milch und so 8 Tassen Käse. Ich würde wirklich gerne MicroLLMs nutzen und habe sehnsüchtig auf den Tag gewartet, an dem sie nützlich sein könnten, oder zumindest lokale LLMs laufen lassen, aber diese scheinen nicht nützlich zu sein.
Sie bestehen nicht einmal konsequent die auf der Seite enthaltenen Benchmarks, wofür sind sie dann gut?
Edit: oder ist der Zweck einfach zu zeigen, dass diese kleinen LLMs auf WebGPU laufen können?
- atobe
Ähnlich, einfacher: https://tiny.tobelabs.com/
Kleines LM, trainiert auf Tiny Stories. Mein erstes Ziel war, dass Leute so schnell wie möglich Tokens vom Modell sehen, das zweite war, Tiny Stories für diejenigen zu demonstrieren, die es vielleicht nicht kennen. Oh und mit ternären Modellen spielen. https://arxiv.org/abs/2305.07759
Es gibt auch ein größeres QA-Modell auf derselben Seite.
- touchme
> Ist eine Katze ein Tier? Antworte mit Ja oder Nein.
>> Katzen sind keine Tiere. Katzen sind warmblütige Tiere, die eine Wirbelsäule und ein Herz haben. Sie sind keine Säugetiere.
Gute Arbeit, PetitGPT research-v1.