YC の採点システムをハッキングして Startup School に招待された話
I got into YC by hacking it
YC が Startup School の応募者を評価するために導入した Paxel というツールに、重大な脆弱性を発見した話。Paxel はローカルでコードを分析し、LLM が 5 つの軸でスコアリングする仕組みだが、nonce に署名がなく、誰でもスコアを改ざんして YC のデータベースに送信できた。著者は実際に自分のスコアを書き換え、公開前に YC に報告。Jared Friedman が即座にパッチを適用し、著者を Startup School に招待した。
この脆弱性は、nonce が LLM の結果を署名していなかったため、エピソードとスコアを好きなように変更して YC にアップロードできた。YC はそれを受け入れただけでなく、スコアを水増しすると、同じプロジェクトのレポートが大きく異なる結果になった。