Fable und das Ende des kostenlosen Mittagessens

Fable and the End of the Free Lunch

Mit dem Erscheinen von Fable, einem teuren, aber beeindruckenden KI-Modell, ist die Ära des "kostenlosen Mittagessens" in der Softwareentwicklung vorbei. Ähnlich wie das Ende von Moore's Law in den 2000er Jahren zwingt uns Fable nun, sorgfältig zu überlegen, welche Aufgaben wir welchem Modell zuweisen. Der Autor nutzt GLM 5.2, das etwa ein Neuntel von Fables Kosten verursacht, für Routine-Coding und reserviert Fable für Design-Interrogationen. Er argumentiert, dass sinkende Inferenzkosten nicht zu einer Rückkehr zu den größten Modellen führen werden, da auch kleinere Modelle von besseren Harnesses profitieren. Zudem haben Fables Zugriffskontrollen und Datenaufbewahrungspflichten Unternehmen und Länder dazu veranlasst, ihre Token- und Datenströme zu überdenken.