「ハーネスこそが本質」：LLMエージェントを自在に操る開発者の実践記

これを読んで、もう少し良いワークフローがあればいいのになと本当に思う。私は本当にFableに依存しきっていて、他のモデルを使っていないほどで、毎週利用制限にぶつかるという点にすでに達している。本当に時間を借りているようなものだ。Anthropicが8月末に50%の利用量増加を最終的に崩壊させるとき、私は間違いなくワークフローを切り替えざるを得なくなるだろう。その時が来たら、単一のプロバイダーの単一のモデルに固執しているとは想像しにくい。

著者は「単独開発者のプロジェクトでも、大規模な開発チームの水準と一貫性を達成できる」と述べている。

私が一人で、4人のチームが3ヶ月かかるプロジェクトを1ヶ月で生み出せるなら、なぜトークンコストを気にする必要があるのか？今や私は、同じものを3倍速く得るために、月4万ドルではなく月500ドルを費やしている。プロジェクトあたり12万ドルではなく500ドルだ。（私のコスト、4万ドルは他の3人分だと仮定して）

これは明白だ——常に最先端のモデルを使うべきだ。

私はLunaに非常に満足しているが、私のアプローチは「小さな編集を多数行う」というもので、その点ではモデルは1年前にほぼ飽和状態に達している。

（また、「巨大なモデルに巨大な変更をさせる」というアプローチも試したが、今も心理的に回復途上だ。コードベースは決して回復しないかもしれない！）

また、LunaとDSV4 Flashは今や同等のようだが、Lunaの方が速くて安いようだ。

先週学んだことは、ハーネスは基本的にwhileループだということだ。

各反復で、LLM呼び出しを行い、何らかの作業（例：ツール呼び出し）を実行し、プロンプトを拡張する（追加や圧縮など）——必ずしもその順序ではなく——そして続ける。

終了条件が満たされるまで。その後、ループを抜ける。

オープンウェイトモデルと自分自身の推論トレースを使ったLoRA適応学習こそが本物だ。大手ラボは、自分でモデルを動かすことと競争したいなら、巨大な仕事を抱えている——基本的にすべてのユーザーに自分の永続的な仮想マシンを提供しなければならないだろう。結局のところ、彼らの本当の堀は推論/ハードウェアプロバイダーとしてのものだけになると思う。StripeがOpenRouterを買収したのは非常に賢い賭けだった。

問題を深く考え抜くことをしなければ、ドメイン理解を深める機会を失うことになる。

私はClaudeのプランモードを使って比較的小さな変更を行っているが、それでも実際に自分で問題を考えて解決しようとすると、将来の作業に役立つ良いメタファーを見つけられるし、後で重要になるような周辺的な問題も発見できることに気づく。

なぜ誰も完全なシェルアクセスなしでハーネスを作ろうとしないのか理解できない。

それははるかに安全だろう。