ChatGPTの試験の問題をChatGPTに出してもらう

生成AIパスポート試験というものがあります。

guga.or.jp

僕はAIを使った就活セミナーをやってるもんで、受けてみようかなー、とか。できたばかりというか次の試験が初となる検定で、持ってて意味あるのかどうか不明だし、受験料11,000円というのはだいぶ高い気がするけど、まあ、記念受験というかね。

ただ、初開催ということは過去問がないわけで、一応公式テキストを買ったり、サンプル問題を解いたりはしたのだけど、それじゃ足りないというか。

そんなとき、G検定のシラバスをもとにChatGPTに問題を出させるという方法があるのを知りました。

note.com

さっそく真似して、以下のようにしました。

生成AIパスポートのシラバスをテキストデータにする。
それをChatGPTに貼り付ける。
その上で以下のプロンプト（上記ページからパクったやつ）を与える。
- 「さきほどのシラバスをもとに、生成AIパスポート試験の問題を出してください。また問題は選択問題としてください。こちらの回答がおわったら、採点と解説をしてください。最初にシラバスからジャンルを抜粋後、問題を出してください。解説後は、シラバスを再度、記憶してください」
追加で、サンプル問題をペーストして「この問題がサンプル問題なのでテイストを合わせてください」と指示する。

GPT-4だと回数制限が厳しかったりして、途中からGPT-3.5でやることになり、そうすると一問一答にならなかったりしたけど、大枠、良い感じでした。

ちなみに本当にサンプル問題のテイストに合ってたかは、よくわかりません。

良かった点。

「『情報リテラシー・基本理念とAI社会原則』の問題を出して」のように範囲を限定できる。
- もっと言うと「LSTMについての問題を出して」のように特定の用語に対する問題を出してもらえる。
「固有名詞が回答になる問題を出して」のようなことができる。
正答率に合わせて難易度を上下することができる。
- そのように指示したけど実際にできてたかは不明。ただ、直接的に「難易度を上げて」はうまく行った気がする。
不正解だった問題について詳しく解説してもらうことができる。よくわからなかったら何回でも解説をお願いできる。
上のと似てるけど、「次はさっき間違えた○○についての問題をちょうだい」のように指示できる。

困った点。

正解が間違ってるときがある（特にGPT-3.5）。
調子に乗って問題を解いてると回数制限が来てしまう（特にGPT-4）。
一問一答にならないときがある。
- しつこく「問題を出したら、こちらの回答を待ってください」とか「だから、次の問題はちゃんとこちらの回答を待ってね」とか、繰り返してお願いした。

特に「正解が間違ってるときがある」はなかなか困った話ですよね。

一応、「あれ？あやしくない？」ってときは検索して調べたりするんですが。

こういうときはBing Chatも併用して、問題と選択肢をそのままBing Chatにコピペすれば良いですね。

たとえば。

ChatGPT
ELMo（Embeddings from Language Models）の特徴は何ですか？
A) 単語埋め込みのための事前トレーニング済みの言語モデルを使用すること
B) 画像認識のための畳み込みニューラルネットワークを使用すること
C) 強化学習のためのモンテカルロ木探索を使用すること
D) マトリクス分解を使用して特徴量を抽出すること
正しい選択肢をお知らせください。

Bing Chat
ELMo（Embeddings from Language Models）の特徴は、選択肢の中では
A) 単語埋め込みのための事前トレーニング済みの言語モデルを使用すること
です。ELMoは、深層学習における自然言語処理（NLP）タスクで使用される単語埋め込みモデルです。このモデルは、大規模なテキストコーパスから学習された事前トレーニング済みの言語モデルを使用して、単語の意味を捉えるための高次元のベクトル（つまり、「埋め込み」）を生成します。これにより、ELMoは文脈に依存する単語の意味（つまり、同じ単語が異なる文脈で異なる意味を持つこと）を捉えることができます。この特性は、NLPタスクのパフォーマンスを大幅に向上させることができます。