ポップクイズ：人間のパフォーマンスに匹敵するテスト問題を生成するAI

ノースカロライナ州立大学の研究者は、オンラインコースで使用するための設問を生成できる人工知能（AI）モデルの開発を進めています。実際にコースを教えているインストラクターによるAIモデルの性能を調査する実験では、インストラクターには、AIモデルが生成した設問と人が書いた設問を区別できないことが示されました。

今回開発されたAIモデルは、QUADLと呼ばれます。QUADLは、実存する教材に使用されている文章内のコンセプトをキーワードとして特定し、それらに焦点を当てた設問を生成します。

ノースカロライナ州立大学コンピューターサイエンス学部に所属し、この研究の代表者者である松田教授によると、QUADLは、オンラインコースで使われている教材(テキストやビデオなど)とコース・カリキュラムの学習目標が与えられれば、学習者がその学習目標を達成することを手助けできる設問を生成するようになっています。

同大学の博士課程の学生であり、共同研究者である震明氏は、「インストラクターやコースウェア開発者を対象にした調査では、学習者がどの程度学習目標を達成できているのかを適切に評価できる設問を作成することに、大きな労力が必要なことが分っています。私たちの研究は、QUADLがインストラクターとコース開発者にとって有用なツールになる可能性を示唆しています。」と話しています。

QUADLが生成した設問の評価は、既存のオンラインコースウェアであるOpen Learning Initiative（OLI）の教材を使って行われました。生成された設問は、OLIを実際に授業で使用している5人のインストラクターにより評価されました。インストラクターには、QUADLが作成した設問、QUADLではない既存の設問生成AIモデルであるInfo-HCVAEが作成した設問、OLIで実際に使用されている設問が、ランダムに与えられました。実験に参加したインスラクターは、設問が前述のどのグループに属するのかという情報は隠された状態で、提示された各設問に対して、その教育的な価値を５段階で評価しました。

実験の結果、QUADLが生成した設問につけられた教育的な価値の平均点は、OLIで使用されている（人が作った）設問につけられた平均点とほぼ同じでした。一方で、Info-HCVAEが生成した設問には、QUADLにつけられた点数よりも格段に低い平均点がつけられました。

現在、研究チームは、AIにより生成された設問が学習者にどのように影響するかを確認するために、QUADLが生成した設問を大学の実際の講義に取り入れる実験を行う準備を進めています。

「先端的なAIの技術の開発サイクルを一回りさせて、学習者に還元することが不可欠です。」と松田教授は言います。 「インストラクターによる評価結果は、QUADLが機能することを示唆しています。次は、それが実際の環境でも機能するかを確認する必要があります。」

QUADLは、PASTELと呼ばれる、教育用コースウェアの開発の促進を目的とする包括的なAIフレームワークの一部として開発されました。

「PASTELは、設問の生成から、コースウェアを構成する各要素の学習効果を評価し、その品質を保証する機能まで、オンラインコースの運営に関わる一連の作業を全般的に支援します。」と松田教授は述べます。「この生成型AI技術の研究・開発を継続するためのパートナーを探しています。また、これらのAIツールを実際に授業で使用することに興味を持っている教育者を探しています。」と話します。

この研究についての最新の論文「Machine-Generated Questions Attract Instructors when Acquainted with Learning Objectives」は、カーネギーメロン大学のノーマン・ビア氏と共同で執筆され、2023年7月3日から7日に東京で開催される第24回国際人工知能教育会議（AIED 2023）で発表されます。

この研究は、米国National Science Foundation の研究助成金、交付番号2016966 および 1623702の支援を受けて行われました。