Jane StreetがAIを「ソクラテス式」家庭教師に変えるスキルを公開
Jane Street: Socratic Tutor
Jane Streetのagent_skillsリポジトリに、ユーザーが「教えて」「クイズして」と明示的に求めたときだけ起動するソクラテス式チューターの仕様が登場。診断で現在地を測り、4〜10のサブスキルをレベル0〜5で可視化。答えを教えず問いで考えさせ、2回以上の独立した確認でしかレベルを上げない厳格な評価と間隔反復を組み合わせ、最終試験まで導く。
レベルは与えられるものではなく、勝ち取るものだ。2回以上の独立した確認、そのうち少なくとも1回はヒントなしの想起で実力を示したときにのみ、レベルを上げる。
HNでの議論
101- Tar90
私はこうした学習スキルの多くを実験してきました（例えば https://github.com/mattpocock/skills/blob/main/skills/produc... も参照してください。これはこのスキルよりも進捗追跡の部分にうまく対処していると思います）。そして、単純な答えを得たり、演習で行き詰まったときの打開や、シミュレーションを通じて直感を得たりするのには素晴らしいですが、効果的な自己学習にはもっと構造が必要だと感じています。難しい本を一種のコース構造として使い、LLMにそれを教えてもらうように頼んだ人はいますか？もちろん本をただ読めばいいのですが、多くの高度な科目には優れた学習教材がありません。
- sigbottle
単純なプロンプトが何らかの記憶システムを超えるとは思えません。特別なことではありませんが、エージェントをあなたの癖に合わせて調整する必要があります。すべてを事前に蒸留しようとするプロンプトは煩わしすぎると感じます。
最近はchatの使用を減らし、学習にはcodexをより多く使っています。直接共有できる対話型ターミナルはいいですし、比較的安価で、重要なのは特定の考えをgitリポジトリにメモリとして記録できることです。
多くの企業が望むような知識オントロジーグラフを目指しているわけではありません。ただ、あなたの特定の学習経路の特定の癖を理解してほしいだけであり、それは形式化できないかもしれないし、立ち止まってあらゆる細かいことを形式化する時間を費やす価値があるとも限りません。
- zkmon
これは本当にすごい。こうしたものがもっと出てきて、AIモデルから人間の心に「洗練された」思考と表現が浸透していくのを見ることになると思います。
最近、職場の周りでメール文面の質が上がったことに気づきました。みんなメール作成の達人のように聞こえます。もちろんAIの役割もあります。しかし本当にすごいのは、これが人々の思考を構造、ミニマリズム、表現の順序付けを持つように引き上げていることです。繊維産業が人々に衣服におけるスタイルと表現を持てるようにしたのと同じです。
- pkoird
これのどこが特別なのか、なぜみんなが感嘆しているのかを考えているのは私だけでしょうか？私の知る限り、私の知っている人々（そして私）は、LLMが十分に能力を持つようになってからずっとこれをやってきました。
- Mikhail_Edoshin
ソクラテス式の問いは盲目的に投げかけられるものではありません。それは学生が自分が知っていると思っていることの不完全さや誤りに気づくのを助けるためのものです。つまり、自分が実際には何かを知らないと気づき、知らない状態に置かれること、それが理解を得る唯一の方法です。
ある人が言いました、悟り（禅でいう）は偽装できないと。それを得た者は、他人が得たかどうかを見分けられる。ただそれらしく聞こえるだけでは不可能です。ソクラテス式メソッドは悟りのようなものです。
- genxy
ソクラテス式の個別指導は、ChatGPTが出た当初に私が最初にやったことです。教養教育は、ただ応用するだけで「大きなアンロック」になります。
https://en.wikipedia.org/wiki/Mastery_learning も参照してください。
https://en.wikipedia.org/wiki/Programmed_learning
自分だけのカスタムスキナーボックスを作りましょう。https://en.wikipedia.org/wiki/Operant_conditioning_chamber
- bsenftner
私はプロジェクト管理とメディア作成を備えた、ソクラテス式AIベースのオフィススイート全体を書きました。現在のエージェント数は1500を超えています：
それは包括的で、移民法事務所で書かれたので、あらゆる種類の言語やその他の視点理解ツール、さらにビジュアル解説、コースウェア、マーケティングメディアの作成を支援する完全なメディアスイートを備えています。
https://midombot.com/b1/blog/MI/method-intelligence-presents...
- lemax
AIにヒントを漏らしたり答えを明かしたりせずにうまく教えてもらうのに苦労してきました。これがしっかりした評価に基づいて構築されていると仮定すれば、素晴らしいものになる可能性があります。
> ユーザーが間違っているときは、答えを与えないでください。その推論の矛盾を明らかにする、より狭い質問をしてください