Kostenlose Colab-Notebooks: LLM-Stack ohne Frameworks lernen
AI Engineer Notebooks – free, framework-free RAG/agents/evals on Colab
Das GitHub-Projekt 'ai-engineer-notebooks' bietet eine Reihe von Colab-Notebooks, die den kompletten AI-Engineer-Stack ohne Frameworks wie LangChain oder LlamaIndex vermitteln. Von Prompting über RAG, Evals, Agents bis hin zu Fine-Tuning und Security – alles läuft auf der kostenlosen Groq-API. Die Notebooks sind bewusst framework-frei, damit man versteht, was hinter den Kulissen passiert, und setzen auf Evals als Rückgrat. Drei Fallstudien zeigen reale Anwendungen, inklusive Debugging in Produktion und Kostenvergleichen. Ideal für Backend- und Full-Stack-Entwickler, die in AI-Rollen wechseln möchten.
Evals sind das Rückgrat: 'Erst messen, dann optimieren' wird früh verankert und kehrt in jedem Abschnitt wieder – die Gewohnheit, die einen Ingenieur auszeichnet, der ein System ausgeliefert hat, von einem, der nur eine Demo gebaut hat.
- ghm2199
Eine Sache, bei der Evals von Anfang an super wichtig sind, ist, wenn das Harness plus die Modell-Inferenz Teil des Produkts sind, z.B. wenn du Voice-AI machst, ist der Aufbau eines Test-Harness zum Testen des Systems ein nicht trivialer erster Schritt.
- consumer451
Mann, so etwas hätte ich letztes Jahr gebrauchen können. Rückblickend scheint es, dass mein Herumtasten im Dunkeln mit Claude und Google in fast allen Fällen zum selben Ergebnis geführt hat. Allerdings ist das alles von Claude geschrieben – es hat zu viele Gedankenstriche, um es nicht zu sein, nicht wahr? Vielleicht sind wir deshalb an denselben Orten gelandet. Kennt jemand andere Ressourcen in dieser Richtung?
- KolibriFly
Schön zu hören, dass sie die Evaluierung von Anfang an priorisieren. Normalerweise werfen die Leute einfach schnell eine RAG-Pipeline zusammen und bewerten die Metriken dann nach Augenmaß, indem sie drei Antworten im Terminal überfliegen.