Edge0-145B bringt Frontier-KI auf den eigenen Laptop

Ich bin wirklich beeindruckt von den Blender-Beispielen. Es ist erstaunlich, wie weit „Tool Use“ gekommen ist, wenn es jetzt bedeutet, ein so kompliziertes Tool wie Blender zu benutzen, um Arbeit zu erledigen, für die ein Mensch Tage bräuchte. Ich bin ein wenig skeptisch, ob die eigentlichen Modelle brauchbar sind, in dem Sinne, dass ein Mensch danach kommen und manuell verfeinern und bessere Texturen anwenden könnte, usw. Historisch gesehen sind von Agenten erstellte Designs chaotisch wie die Hölle, und bis man sie aufgeräumt hat, hat man keine Zeit gespart. Aber das hat begonnen, besser zu werden; die besten Modelle sind inzwischen sehr gut darin, saubere formbasierte SVGs zu erstellen, die nicht chaotischer sind als das, was ein Mensch in Inkscape oder Illustrator machen würde. Aber ich werde es definitiv ausprobieren.

> Das Teilen von Matrizen reduziert die Gewichte, die gespeichert und bewegt werden müssen, erheblich, während die Anzahl der Experten unverändert bleibt. Jede Gruppe von 64 Experten teilt sich zwei große Matrizen, während jeder Experte einen kleinen Satz von Parametern behält, der seine Unterschiede erfasst.

145B Parameter mit nur 29 GB Spitzen-Speicherverbrauch – wirklich beeindruckend, etwas, das man tatsächlich auf einem gut ausgestatteten MBP laufen lassen kann.

Ist das von flash next abgeleitet? Das ist der Eindruck, den ich beim Durchlesen von allem bekomme. Ich benutze jetzt Strata + Qwen 3.8 Flash Next und bin mehr als beeindruckt. Es ist in meinen Händen bisher im Grunde so leistungsfähig wie 5.6 Luna. Wenn das ein Upgrade ist, kann ich es kaum erwarten, es auszuprobieren.

> Läuft auf einem kompatiblen persönlichen Laptop, wie einem MacBook Pro

Ich bin neugierig: Haben normale Leute (also nicht HN-professionelle Entwickler oder Unternehmer) so etwas als tatsächlich persönliches Gerät (nicht von ihrer Tech-Firma)?

Ich stelle mir vor, einige haben es vielleicht, aber ich habe das Gefühl – und das bin ich, deshalb frage ich hier die breitere Community –, dass der durchschnittliche PC-Nutzer bestenfalls eine Gaming-Maschine hat, aber das ist schon eine Minderheit, und viel häufiger ein Low-End-Laptop mit 16 GB normalem RAM, nicht Unified oder VRAM. Bin ich realitätsfern?

Sie haben das als NVFP4 ausgeliefert, also nur für Nvidia Blackwell, vermutlich unterstützt ihre Inferenz-Engine auch nichts außerhalb von CUDA 13. Es wird interessant sein zu sehen, ob das andere Quants bekommt und andere Inferenz-Engines es aufgreifen und wir ein paar Standard-GGUF-Dateien bekommen. Es ist im Moment ein etwas seltsames Release: Statt GGUF-Datei-Downloads führt der Varianten-Link auf HF zu einem Verzeichnis mit Zeug, das das Modell über verschiedene Dateien verteilt enthält.

Es ist erstaunlich, welche Optimierungen wir entdecken. Bei diesem Tempo würde es mich nicht überraschen, wenn der Trend beginnt, sich umzukehren, d. h. statt immer größere Modelle zu veröffentlichen, fangen Unternehmen an, kleinere, leistungsfähigere, spezialisierte Modelle für bestimmte Anwendungen herauszubringen.

In den letzten Wochen habe ich ein kleines Modell mit 6,5 Mio. Parametern zusammengestellt. Es ist konversationell, beherrscht Tool-Calling, RAG, mathematische Modellierung/Berechnungen, grundlegende physikalische Simulationen und mehrstufiges verkettetes Reasoning. Es ist immer noch ganz und gar _kein_ Frontier-Modell. Aber es leistet bereits mehr, als ich vor nur einem Jahr mit Finetuning aus einem Qwen 2.5 0.5b-Parametermodell herausholen konnte.

Die meisten Verbesserungen kommen daher, dass ich Claude anweisen kann, verschiedene Ideen aus der aktuellen Forschung anzuwenden, die ständig herauskommt. KI-Labore scheinen sich auf Modelle mit 1B+ zu konzentrieren, daher kommt nicht viel über kleine Modelle heraus, aber viele der Dinge, die in der Forschung mit Milliarden+-Modellen entdeckt werden, sind auch auf kleine anpassbar.

Verbesserungen am Harness wie Context-Pruning und das Heilen fehlerhafter Tool-Calls sind ebenfalls sehr hilfreich, um kleinere lokale Modelle zu stärken. Ich arbeite in letzter Zeit viel in diesem Bereich.

Qwen 27B in Terminal Bench 2.1 zum Beispiel von 73 auf 85.