Jane Street、LLM時代に合わせてソフトウェアエンジニア面接を変える
Jane Street – Our software engineering interviews are changing (a little)
Jane Streetは、LLMがコード生成を安価にしたことで、設計や抽象化の選択、コードの正しさの検証といった能力がより重要になったと指摘。キャンパス採用のオンサイト面接で、コード記述を減らし、ソフトウェア設計やLLMを使ったコード生成、コードの品質・構造・意図の検証に焦点を当てた新形式の試験を試験導入している。従来のコーディング面接も大半のラウンドでLLMなしで継続する。
コード生成がかつてないほど安価になった今、何を作るかというセンス、長持ちする抽象化の選択、そして作ったものが本当に正しいかを確かめることなど、仕事の他の部分がこれまで以上に重要になってきています。
HNでの議論
116- fernandotakai
というわけで、LLM時代の面接のやり方について色々試行錯誤してきて、かなり良いプロセスにたどり着いた：
まず、ライブで（今はオンラインで）解くコーディング問題だ。難しい問題ではなく、ほとんどのLLMが簡単に一発で解ける。
ただし：シニア開発者でないならLLMなしで解く必要があり、シニア以上でLLMを使うなら基準はめちゃくちゃ上がって、LLMが書いたすべてを自分が書いたかのように詳細に説明しなければならない。
ここでの主なポイントは、候補者がコーディング全般を理解しているか、問題解決を理解しているか、既存の（かなり小さいとはいえ）コードベースにどう飛び込むかを知っているかを見ることだ。問題を解くこと自体が本当のゴールではない——実際、採用した候補者のほとんどは100%解けなかったが、自分がコードに書いたすべてを理解して説明できた。これで通常1時間半かかる。
（また、gitの基本を知っているかを見るために、リポジトリに対してPRを開くよう候補者に頼む。どれだけの人がそれができないかには驚くはずだ）。
次はアーキテクチャ面接で、一緒にシステムを構築するのだが、仕様全体やmiroボードなどをやる代わりに、もっと自由な形で進める：本当にシンプルなMVPレベルの仕様から始めて、候補者がどう構築するかを聞く。そして別の機能を追加し、どう進めるかを聞く。この間ずっと、「なぜyではなくxを使うのか？」とか「なぜこのアプローチを好むのか？」といったランダムな質問をする。
重要なことの一つ：我々は[…]
- bluGill
それは機能するのか？ 機能するとどうやって分かるのか？
面接のやり方とその理由を語る人はたくさんいる。しかし、面接に何が有効かについて科学的な研究があることすら、ましてやそれを応用していることすら、ほとんど誰も少しも示していない。また、自分の質問がより良い人材の採用に役立つかどうかをテストした形跡も示していない。
もし私が、履歴書をランダムに選んで他のスクリーニングなしで採用すれば同じ結果が得られると言ったら、彼らはそれを反論できるだろうか？ できるなら、彼らはプロセスのすべての部分を正当化したのか、それとも有用な一つのステップだけで残りは分からないままなのか？
- saghm
今週ここでJane Street関連のものを3つ見たけど、最近はそれまで記憶にないほど彼らについてあまり見かけなかった。彼らがOCamlを使っていること、そしておそらくHNコミュニティが興味を持つような他のこともやっているのは知っているが、突然とても短い期間にたくさん出てくるのは奇妙だ。何かマーケティングの推進か何かが起きているのだろうか？
- floathub
完全に余談だが、なぜJane Streetの記事が毎日のようにフロントページに来るのか理解できない：
今日：
https://news.ycombinator.com/item?id=50467297
昨日：
https://news.ycombinator.com/item?id=50455394
二日前：
https://news.ycombinator.com/item?id=50438261
少し奇妙だ（？！）。
- zerop
友人が最近、Metaや他のいくつかの企業で面接を受けた後、Googleを通過した。彼によると、ほとんどの場所で面接スタイルは変わってきているが、共通のパターンはないという。各企業が独自のアプローチを取っている。AI IDEへのオープンアクセスを与えるところもあれば、すべてを質問しないように頼み、何を質問するかを監視するところもある。ある企業は（おそらくカスタムの）LLMへのアクセスを与え、それが意図的に間違ったコードを提供し、候補者がそれを修正しなければならない。
- parthdesai
正直かなり曖昧なブログ記事だね。変わってきているという事実以外、あまり詳しく説明していない
- nphardon
面接に行ってコードを書けと言われるなんて、今となっては冗談としか思えない。ここ1年以上、数行以上書いたことはない。面接は仕事に関連したものであるべきだ。
- Surac
コード面接は従業員にとっても雇用者にとっても大きな時間の無駄だ。人間が何をもたらせるかを見るべきだ。