Chat-GPTが第117回医師国試で合格点金沢大らの研究グループが検証、論文を公開

sssp://img.5ch.net/ico/anime_karake.gif 　Chat-GPTが第117回医師国家試験の合格点を獲得ーー。

株式会社MICINは4月25日、金沢大学医学類の学生および同大融合研究域融合科学系の野村章洋准教授らの研究グループと共に実施した研究に関する成果を報告する論文をオンラインで公開したことを発表した（詳細については論文を参照）。

この研究は、2023年2月に実施された第117回医師国家試験の画像なし問題262問を、昨今注目を集める生成AIによる対話型サービス「Chat-GPT」のGPT-3.5およびGPT-4に解かせるという内容だ。

その結果、Chat-GPT（GPT-4）は必修問題（合格最低ラインは80.0％）で82.7％、基礎・臨床問題（合格最低ラインは74.6％）で77.2％のスコアを獲得し、合格最低ラインを満たした。

研究グループは第117回医師国家試験の問題を解かせる前に、まずは第116回医師国試の画像なし問題を用いて入力プロンプト（Chat-GPTから回答を得るための指示文）を検討し、GPT-3.5を用いた第116回医師国試の当初の検証では52.8％という正答率を得た。

その後、プロンプトを平易な英語に翻訳した上で要約をすることや、基礎・臨床といった質問タイプごとにプロンプトをチューニングするといった調整を行うことで、正答率が向上した。

こうした調整を経て、第117回医師国家試験の問題を解かせた結果、262問中206問で正解した。必修問題と基礎・臨床問題ともに、合格最低ラインを満たした。

研究グループは不正解となった56問について、なぜ不正解となったのか要因を分析している。その結果、不正解となった56問のうち33問（58.9％）では「医学知識の不足」が、17問（30.4％）では「日本特有の医療制度情報」が、4問（7.1％）では「数学的誤り」が要因となっていたことが分かった。

論文において研究グループは「医学の文脈において時代遅れ、決定的に間違っている回答もあった」としたほか、「医療保険分野における日本の薬事法、厚労省の指導、ガイドライン、公衆衛生に関する問題についてChat-GPTは適切に答えることができなかった」としている。

https://www.m3.com/news/iryoishin/1135345

べつに試験に受かったから医師として優秀とは限らんからな
俺よりは優秀やけど

普段使いの実用性では今はBingChatが一番だけどな

あの人どうするんよ

こいつ知らないことを知った風に言いすぎなのが問題

そりゃ答え見ながら回答してるのと同じだから合格するの当たり前でしょｗ

10年後に残ってる仕事って何なんだろな
宅配便か

画像診断でもはや人間の医師の目と経験に基づいた診断なんか不正確で
MRI診断なんかAIの方が１０００倍正確になるんじゃないか？
将来外科手術にしても機械の方が失敗しないって事になりそう

１次産業以外無くなりそうだなw

ChatGPTにバカ左翼どもの出自を聞いてみると嘘八百ばっか言うで
とてもじゃないが使い物にならんわ

コレって人間が思いもつかないような回答捻り出せるレベルまでのものなの？
結局人間がせっせとデータ入力してそこから最適解を見つけられるってレベルとちゃうの？

生身の人間と同じ条件で競わせるのはフェアじゃないでしょ

回答の持ち時間は人間の５０憶分の1にしなきゃ

一級建築士の製図試験やれないかな模範解答と比べたい

そりゃそうだろよ。ネットから回答拾ってくるだけだしな

葬儀屋潰れないと思って就職したけど家族葬に客取られてちょっと焦ってる

もうコンサル屋はみな廃業だな(´･ω･`)

いまのGPTにできないことや弱点を必死に吊し上げても意味ないぞ
リアルタイム検索、画像入力対応、プラグインであらゆるアプリと統合、すでに予定されてる技術だけでもAIでほぼ何でもできる未来は確定してる
現実逃避しないで向き合えよ

人生半分くらいルーチンだしな

もうAIのが胸部X線の写真判定とかも精度高いっていうよな
型通りに一定水準のものを延々こなすような事務系業務はまじで人要らなくなりそ

カンニングとか言ってる奴等多いけど、お前らネット検索可なら受かる自信あんの？

AIの可能性はまだまだ発展性あるけど人間の可能性はもうドン詰まり

そのうち医者もいらなくなるのかよ

早く義体化して永遠に生きれるようにしろよ

前のバージョンで東大の入試問題で9割取ったりgoogleの3次試験パスしたりしてたからな

医師国家試験通るだけで臨床医なんてできないわけで
そこから１人前の専門医になるまでが長いわけで

その前にちゃんと医学部受験通過しろよな

ほんでこのAI
当直こなしてくれるのか？

まあNHKや商社などの企画や経理事務人事などの業務については代行可能ですがね。

キツめに縛られた中で特定の役回りを求められるのって
本質的には大体こんな作業だと思うけどな

見知らぬロボに命預けられるならどうぞ

そりゃネット検索して答えてるようなもんだし１００点じゃない方がおかしいんじゃね