どんな質問をしても、まるで人間のように答えてくれるChatGPT(チャットGPT)。それならばどれくらい賢いかわかるように、大学受験の問題を解かせてみてはどうだろう。そんな試みが注目を集めている。受験結果には、ChatGPTの優秀さとともに弱点も垣間見えた。AERA 2023年7月10日号の記事を紹介する。
* * *
「ChatGPTに共通テスト(旧センター試験)を解かせてみた」
こんなタイトルの投稿が今年6月、ウェブサイト「note」で注目を集めた。投稿主は、usutaku@AI情報解説さんだ。
「解かせてみた」のは、2022年度の大学入学共通テストのうち国語、英語(読解)、公民(倫理、政治・経済)の3科目で、問題をテキスト形式にしてから、「GPT3.5」と、より多くの情報を精度高く処理できる「GPT4」にそれぞれ入力。正答率は、やはりGPT4の方が高く、英語90%、公民80%、国語53%となった。英語と公民は、この年の受験者平均を大きく超え、早稲田や慶應といった難関大の合格が望めるレベルに達した。
AIを用いたプロダクト開発会社「LifePrompt」取締役でエンジニアの遠藤聡志さん(24)は、この結果を、
「ChatGPTが学習しているネット上の文献は50%以上が英語。非ネイティブである日本の受験生向けにつくられた英語の問題は簡単だったのでしょう。だから、国語の点数が低かったことも納得です。特に登場人物の気持ちを整理することが苦手でした」
と分析。そのうえで、こう呼びかける。
「ChatGPTは堂々と答えるので、間違った情報が提示されても気づきにくい。受験勉強で使うのはイマイチです」
(編集部・古田真梨子)
※AERA 2023年7月10日号より抜粋