先日、Webマガジンの『現代ビジネス』に歯学博士で医療行政ライターである中田智之さんと言う方の

『AIはまだ歯科医師国家経験をパス出来ない・・・！歯科医師がその理由を分析してみた』

という記事が掲載されました。最近、AIは様々な業界や分野で効率化や革新が実現化されています。医療分野においても、医療データを解析し病気の早期発見や診断の精度向上に貢献しています。

最新型であるGPT-4は既にアメリカの司法試験・医師国家試験ともに優秀な成績で合格。

日本における医師国家試験は得点率７７％以上が合格という中で、GPT-4は８１％を獲得したと学術論文でも報告されているそうです。それじゃあ、歯科医師国家試験はどうなの？ということで、本職の歯科医師チームがより詳細な方法でGPT-4に２０２２年度歯科医師国家試験を解かせて歯科知識に関する特性を検証しようと試みたそうです。

歯科医師国家試験には大まかに「必修」「総論」「各論」３つのセクションがあり、その全てに合格する必要があり、左の図の通り、GPT-4は全てのセクションで不合格でした。

この結果を受けて「AIは日々進化するのだから、少し教えればすぐに正しい答えを覚えるはず」と思ったのですが、GPT-4の言語学習は開発環境内で完結していて新規に学習させることが出来ないみたいです。つまり、昨今のAIの進歩はGPT-4が前のバージョンであるGPT-3.5に比べ大幅に性能アップしたことを示し、"Chat-GPT"とは、人工知能GPT-４と人間が会話出来るようにする、いわゆる”翻訳ソフト”である説明しています。

医師国家試験にGPT-4が合格できて、歯科医師国家試験には不合格となった理由とは、受験者の平均得点率は総合問題よりも各論問題の方が高く、GPT-4の得点率は真逆で、総合問題の方が高くなりました。GPT-4は医師だけでなく大勢の科学者もかかわる分野から出題される総合問題が得意で、人間の受験者は、実際の治療との関連性が強い各論問題が強いという傾向があるということでした。この傾向から、GPT-4は、膨大な情報から正解を抽出するは強く、専門性や地域性などが強い分野は不得手ということでした。

AIの解答には、ハルシネーション「見分けがつきにくい知ったかぶり」が構造的に含まれているそうです。確かに、しれっと不確かな情報が断言されたかたちで説明していることがあります。インターネット検索全般に言えることですが、デジタルリテラシー(情報の検索、評価、共有などのスキル)や、情報の受信能力、データの解釈能力など、AIの解答を受け取る側の能力が備わっていないと、うまく使いこなすことは難しいと言うことも付け加えておきます。

ちなみに、この文章も、一部AIが作成しております。