LLM革命4年、業界に成果なし——私は依然として懐疑的だ
I Remain a Skeptic
著者は、LLMを実際に重要な作業に使っていないと述べ、その理由として、有効性への疑問、業界の進歩の欠如、証拠の薄さ、生成コードの低品質、AI推進派の哲学への批判を挙げる。また、AIによる労働の均質化と労働者の交渉力低下への懸念も示し、自身は専門性を高めることで対応している。
革命から4年が経ち、業界はほとんど何も生み出していない。ソフトウェアの品質は向上せず、高速化もせず、より安くもならず、より安全にもなっていない。
HNでの議論
122- socalgal2
> この「革命」から4年が経ちましたが、業界にはほとんど成果がありません。ソフトウェアの品質は向上していません。
アップル、Mozilla、Firefoxは、AIのおかげで記録的な数のバグ修正をリリースしたばかりです。したがって、ソフトウェアの品質が向上していないという主張は、証明可能ではないにせよ、間違っていると言えるでしょう。他にも何千もの例があります。私自身にもあります。依存関係の腐敗で止まっていた個人プロジェクトが、頼むだけで何百ものバグが修正され、依存関係がほぼすべて削除され、多くのテストが追加されました。同じような経験をした人をたくさん知っています。
> それを使わないことで遅れをとっているとは感じません
「どう感じるか」については、明らかにあなたが正しいです。しかし、この議論は私には、馬の所有者が、自分の馬の10倍、100倍、1000倍の荷物を運べるトラックに遅れをとっているとは感じないと主張しているように思えます。確かに、馬はトラックが行けない場所に行けるかもしれません。しかし、ほとんどの用途では、トラックの方が馬より優れています。
> 私が受け取るLLM生成のPRはまだゴミです。
それは否定できません。あなたが受け取るLLM生成のPRは見たことがありません。ただ、私が見たLLM生成のバグレポートは、人間のものより1000倍優れていると言えます。人間のバグレポートは「あなたのソフトウェアが壊れている、直せ！」です。LLMのバグレポートは「コードのこの特定の部分に、これらの特定の理由でバグがあります。ここに、そのバグを示すために書いたリポジトリがあります。リポジトリの実行方法は次のとおりです。バグを修正するコードはこれです。そして、バグが修正されたことを示すテストはこれです。」
完璧ですか？いいえ、そ[...]
- andai
>生産性
最近、慢性的な健康問題による認知機能の低下を経験しました。初めてオンラインマルチプレイヤーゲームをリリースしているので、タイミングが悪いです。「脳が正常に機能すること」は基本的な仕事の要件のようなものです！しかし、持っているものでやるしかありません...
ある日は「手動」でプログラミングするエネルギーがありますが、多くの日は、「タスクが完了する」と「ただ画面を見つめて同じコードを何度も読んでいるだけ」の違いは、「LLMにやってもらう」ことです。
そのため、自分のアイデンティティを「物事を行う人」から「物事が行われたことを確認する人」に変える必要がありました。
とはいえ、差分は注意深く確認しています。（数ヶ月前にもっと放任的なアプローチを試しましたが、それはかなり悪い考えでした。）そして、差分をできるだけ小さくすることを学びました。自分にとって理解しやすく、AIが暴走する余地も少なくなります。
小さく明確に定義された変更の素晴らしいボーナスは、小さくて速くて安いモデルでも処理できることです。（最近Lunaを楽しんでいます。Low reasoning effortでも、まったく期待していなかったのに。）
- hax0ron3
>ビッグテックによるLLM推進のあまり隠されていない目標は、知的労働を均質化して代替可能にすることでした。労働が代替可能になると、いつでも好きな時に代替品と交換でき、労働者の交渉力が低下します。ソフトウェア開発は最後の「ギルド分野」の一つであり、現在その産業化が起こっています。
ソフトウェア開発の産業化は、何十年も前にすでに起こったと思います。一般的なプロフェッショナルなソフトウェア開発手法（ウォーターフォールとスプリントベースの両方）は、ソフトウェア開発の産業化そのものです。現代の「アジャイル」でスプリントベースのソフトウェア開発手法は、日本の製造方法に直接影響を受けていませんか？ソフトウェア開発がいつ実際にギルド分野だったのかはわかりませんし、私の個人的な経験はそこまで遡りませんが、読んだものに基づくと、1990年代にはすでにギルド分野ではなかったように思えます。
- wewewedxfgdf
>> この「革命」から4年が経ちましたが、業界にはほとんど成果がありません。
もしあなたが実際にLLMを使って、傍観者として実体験もなく説教するのではなく、そのような発言が間違っていることを知るでしょう。
これは反LLMの人々の多くに共通する本当の問題です。彼らはLLMについて語り、同時にそれを使っていないと告げます。
「あれはあなたが言うようなことはできない。そして、私がそれを試すことは決してないだろう。しかし、私が正しいことは確かだ。」
- Grombobulous
最後の箇条書きが最も重要です。業界がAIに最も期待しているのは、ソフトウェア開発者に20万ドルではなく7万ドルを支払うためです。
しかし、AIが開発を速くできないという点にはあまり同意できません。著者が否定的なAIの結果として説明しているのは、盲目的なvibecodingです。それ以外にも多くの使い方があります。基本的な「拡張オートコンプリート」でさえ、特にその機能が非常に安いか無料であるため、純粋に利益があります。
- classictraffic
著者の「AI推進の主張を裏付ける十分な証拠がない」という点について—さらに、それらの人々が間違っており、AIは人々をほんのわずかしか効率的にしないことを示す研究や記事が出てきています。CEOたちが何千人もの雇用を削減しながら主張する10倍ではありません。
https://getdx.com/blog/ai-productivity-gains-are-10-percent-...
- spl757
すべてのAIは幻覚を起こすため、予測不可能で信頼できません。明白なことを証明するために1.5兆ドル。本番環境での使用には適していません。少なくとも私の意見では。彼らは私たちを全員排除し、文句を言わず、子供を持たず、外での生活も持たず、休暇も欲しがらない何かに置き換えたがっています。統計的に言えば、あなた方のほとんどは給料日前で生活が苦しいでしょう。だから、この結果がどうなるかには切実な利害関係があります。
編集：わかっています、これは人気のある意見ではありません。
しかし、私は間違っていますか？
AIの幻覚の問題が解決されたなら、私が見逃したのでしょうか？
- mrdomino-
> ビッグテックによるLLM推進のあまり隠されていない目標は、知的労働を均質化して代替可能にすることでした。労働が代替可能になると、いつでも好きな時に代替品と交換でき、労働者の交渉力が低下します。ソフトウェア開発は最後の「ギルド分野」の一つであり、現在その産業化が起こっています。
これは本当にうまく言えています。以前ははっきりとは気づいていませんでした。これは、エンジニアリングにおける労働組合を避けるための物語の次の一手かもしれません。