AIが全課題を解いた、ある教授の授業再設計
How I changed teaching after AI managed to do all my homework assignments
CMUのVincent Hellendoorn氏は、GPT-3が読解クイズに合格した2021年から何も変えなかったが、5年後にはAIエージェントが全課題をこなすようになり、ほとんどの評価方法を再設計した。自宅課題を廃止し、TAとの口頭チェックイン、試験、ビデオデモに焦点を移行。AIの無断使用を許可しつつ、低リスク評価の崩壊という証拠に基づく教育実践への打撃も認めている。
残念ながら、AIはいくつかの証拠に基づく教育実践を積極的に損なっている。
HNでの議論
269- tarkin2
一番簡単な道は、学生に宿題でカンニングを許して、コースワークに基づかない試験で失敗するのを見守ることだ。そうすれば、あなたの授業はやる気のない学生たちに放棄され、AIが教育格差をさらに広げることになる。
もし合格率を達成することを強制され、そんなに多くの失敗を見過ごせないなら、その証明書は職場で無価値になる。あるいは、有料の再試験を提供して、AIがあなたにお金を稼がせてくれるのを見守るだけだ。
どうしてもコースワークを続けるなら、短いが比重の重い口頭試験の部分が唯一の答えのように思える。欠点としては、反転授業についての記事やコメントで触れられていたように、教える時間が減ることだ。
- a57721
私はいくつかの数学のコースを教えているが、LLMがすべての標準的なアプローチを破壊したのを目の当たりにし、どうすればいいかわからない。
私は持ち込み可の筆記試験に頼っているが、教室でのコンピュータやスマートフォンの使用は禁止している。
大学は宿題を任意にはできないと主張するが、宿題は意味を失った。学生たちに、宿題を自分で考えることが彼らの利益になるのだと説明しようとしたが、大多数は明らかに生成AIを使うだろうし、LLMの出力をチェックして採点するのは本当に時間の無駄だ。
ちょうど、すべての学生に「サンプル問題」を与えて、家で試して筆記試験に備えるようにという経験をした。多くの学生はその文書をLLMに放り込み、何らかの「試験ガイド」を作るように頼み、それを印刷して試験中に私にLLMの出力の意味を説明するように求めてきた。
大学にはあらゆることにAIを使うよう推進する人々も多いようだが、私は学生が自分で考え、いくつかの基本的な考えを消化することを目標とする基礎的なことを教えている。LLMは完璧な解答を生み出せるが、それに頼るのは無意味だ。
- singpolyma3
> 例えば、証拠は頻繁な低リスクの評価（宿題、小テストなど）にフィードバックを付ける方が、少数の高リスクの評価（試験など）よりも優れていることを示している – しかしAIは低リスクの場での練習を損ない、私たちを試験の方へと押しやっている。
それは、あなたが成績をつけてカンニングした者を落第させられることにこだわっているからにすぎない。
- Propelloni
ドイツ人は正しかったのかもしれない？学期末に対面の試験、できれば面接を一度行えば、賢い連中の一部が目の前の問題を理解していることを確実にしようと動機づけるには十分だろう。残りはもみ殻にすぎない。もみ殻のために最適化するな。
- nfrankel
私は2年前にやめたが、教えることと採点することの両方でかなり長い経験がある。2年間の試行錯誤の後、私は「正しい」方法を見つけたと思う：
* 1回の2時間の枠の中で理論と実践を交互に行う。理論は必要だが、人の集中力は非常に限られている。
* 仕様のある実際のプロジェクトの形での宿題を採点する。半学期の期間を与えるので、早く始める学生は質問できる。そうでなければ、授業内試験を採点する。すべてのリソース、コースやインターネット全体を含めて利用可能にする。ただし、知識を評価するのではなく、学生がその知識を目の前のさまざまな課題に適用できるかどうかを評価する。
これらのアプローチは今やAIの時代には完全に無意味だ。
同僚が初めて口頭試験をしてくれと頼んできたときは驚いた。社会的交流スキルが乏しい人々にとって負担だと思ったからだ。それは驚くほどうまくいった。たとえ内気でも、学生がコースの概念を統合しているかどうかは数分でわかる。今ではこれが進むべき道なのかもしれないと思う。ただし、一つ注意点がある：それはスケールしない。
- gblargg
核心的な問題は、多くの、あるいはほとんどの学生が教材を学ぶためにそこにいるのではなく、単に成績を得るためにいるということのようだ。クラスは、彼らの意志に反して教材を学ばせるための複雑なメカニズムであり、検証の軍拡競争だ。教師の仕事は軍の司令官のようなものになる。憂鬱に思える。
- helsinkiandrew
> 私は今、TAとの対面でのやり取りに移行しました。各課題の後、各学生はTAと15分のミーティングを予約し、ライブの会話でいくつかの質問に答える必要があります
答えは「反転授業」ではないか – 学生は授業の前に読んだり勉強したりする課題を与えられ、授業はよりインタラクティブになり、科目に応じて質問に答えたり、トピックについて議論したり、問題を解いたりする。もちろん、これは400人が講義を聞き、いくつかのテストやエッセイがあるホールよりも費用がかかる。
- mtrx
今年EduLearn（主要なEdTechカンファレンス）に参加し、まさにこのことについて多くの教授と話した。彼らの多くは授業を教室に戻そうとしているが、同じ問題にぶつかっている：
- 一部のスキルは実際に書くことによってのみ発達する（YouTubeの動画を見るだけではコーディングを学べないのと同様）
- 授業内の課題は常にスケールするわけではない（そして学生は結局AIを使ってしまう）
- 学生は積極的に参加するのに十分な動機づけがない
私は執筆プロセスに注目する方がより現実的なアプローチだと思うので、Turingo（https://www.turingo.net）を作った。これはGoogle Docがどのように書かれたかを再生し、異常な編集（大きな貼り付け）を強調し、その後そのテキストがどのように変化したかを追跡する。驚いたことに、何人かの教授は、学生が最終草稿にどれだけLLM生成テキストが残っているかをしばしば過小評価していると報告したので、再生を見るだけで会話が変わる。
これは既存のAI検出器のような判決マシン（教育におけるもう一つの大きな問題）を意図したものではなく、著者のTAたちが行っているような会話の出発点としてのものだ。実際、私たちは再生に基づいて教授が尋ねるためのいくつかの質問を提案する機能もベータテストしている。
そして、そう、完璧ではないし、自動タイパーも存在するが、彼らは思ったより愚かで、本物の人間を模倣するには程遠い（すぐに対処したいと思っている）。