Chat-GPTが第117回医師国試で合格点金沢大らの研究グループが検証、論文を公開

1: 名無しさん。 2023/04/25(火) 20:48:01.96 ID:Azb8wafI0● BE:512899213-PLT(27000)

sssp://img.5ch.net/ico/anime_karake.gif  Chat-GPTが第117回医師国家試験の合格点を獲得ーー。

株式会社MICINは4月25日、金沢大学医学類の学生および同大融合研究域融合科学系の野村章洋准教授らの研究グループと共に実施した研究に関する成果を報告する論文をオンラインで公開したことを発表した(詳細については論文を参照)。

この研究は、2023年2月に実施された第117回医師国家試験の画像なし問題262問を、昨今注目を集める生成AIによる対話型サービス「Chat-GPT」のGPT-3.5およびGPT-4に解かせるという内容だ。

その結果、Chat-GPT(GPT-4)は必修問題(合格最低ラインは80.0%)で82.7%、基礎・臨床問題(合格最低ラインは74.6%)で77.2%のスコアを獲得し、合格最低ラインを満たした。

研究グループは第117回医師国家試験の問題を解かせる前に、まずは第116回医師国試の画像なし問題を用いて入力プロンプト(Chat-GPTから回答を得るための指示文)を検討し、GPT-3.5を用いた第116回医師国試の当初の検証では52.8%という正答率を得た。

その後、プロンプトを平易な英語に翻訳した上で要約をすることや、基礎・臨床といった質問タイプごとにプロンプトをチューニングするといった調整を行うことで、正答率が向上した。

こうした調整を経て、第117回医師国家試験の問題を解かせた結果、262問中206問で正解した。必修問題と基礎・臨床問題ともに、合格最低ラインを満たした。

研究グループは不正解となった56問について、なぜ不正解となったのか要因を分析している。その結果、不正解となった56問のうち33問(58.9%)では「医学知識の不足」が、17問(30.4%)では「日本特有の医療制度情報」が、4問(7.1%)では「数学的誤り」が要因となっていたことが分かった。

論文において研究グループは「医学の文脈において時代遅れ、決定的に間違っている回答もあった」としたほか、「医療保険分野における日本の薬事法、厚労省の指導、ガイドライン、公衆衛生に関する問題についてChat-GPTは適切に答えることができなかった」としている。

https://www.m3.com/news/iryoishin/1135345

引用元:https://hayabusa9.5ch.net/test/read.cgi/news/1682423281/

3: 名無しさん。 2023/04/25(火) 20:50:04.70 ID:wcoOkKxQ0
べつに試験に受かったから医師として優秀とは限らんからな
俺よりは優秀やけど
6: 名無しさん。 2023/04/25(火) 20:52:08.29 ID:Pn0OOwQq0
普段使いの実用性では今はBingChatが一番だけどな
7: 名無しさん。 2023/04/25(火) 20:52:37.50 ID:DRHLMSe/0
あの人どうするんよ
9: 名無しさん。 2023/04/25(火) 20:57:24.97 ID:3kX/T8Cr0
こいつ知らないことを知った風に言いすぎなのが問題
10: 名無しさん。 2023/04/25(火) 20:59:10.30 ID:LouiAked0
そりゃ答え見ながら回答してるのと同じだから合格するの当たり前でしょw
13: 名無しさん。 2023/04/25(火) 21:06:58.44 ID:S093tVhb0
10年後に残ってる仕事って何なんだろな
宅配便か
14: 名無しさん。 2023/04/25(火) 21:08:48.39 ID:cnbeW2ta0
画像診断でもはや人間の医師の目と経験に基づいた診断なんか不正確で
MRI診断なんかAIの方が1000倍正確になるんじゃないか?
将来外科手術にしても機械の方が失敗しないって事になりそう
17: 名無しさん。 2023/04/25(火) 21:10:19.21 ID:luXvwaeF0
>>14
画像診断は推測による部分が半分以上あるから、AIには難しい課題だな。
それが出来るようになれば自動運転もレベル4を達成できるんだが。
41: 名無しさん。 2023/04/25(火) 22:21:40.72 ID:t2LtZWbw0
>>14
既に内視鏡ではフジノンのAI診断機器があるけど
まだまだ人間の方がマシだけどね
18: 名無しさん。 2023/04/25(火) 21:10:46.92 ID:Diebk9F10
1次産業以外無くなりそうだなw
21: 名無しさん。 2023/04/25(火) 21:12:57.50 ID:Hv8ri1Kh0
>>18
ChatGPTを扱う人が必要だからブルーカラーは永遠に底辺だよ!やったね!
19: 名無しさん。 2023/04/25(火) 21:11:16.36 ID:s6YkuIt20
ChatGPTにバカ左翼どもの出自を聞いてみると嘘八百ばっか言うで
とてもじゃないが使い物にならんわ
23: 名無しさん。 2023/04/25(火) 21:17:12.16 ID:zGBHgQ700
コレって人間が思いもつかないような回答捻り出せるレベルまでのものなの?
結局人間がせっせとデータ入力してそこから最適解を見つけられるってレベルとちゃうの?
24: 名無しさん。 2023/04/25(火) 21:22:00.91 ID:s6YkuIt20
>>23
試しにアカウント作って聞いてみなはれ

日本経済を復活させる方法とか
バカ左翼を殲滅する方法とか

25: 名無しさん。 2023/04/25(火) 21:23:20.94
生身の人間と同じ条件で競わせるのはフェアじゃないでしょ

回答の持ち時間は人間の50憶分の1にしなきゃ

29: 名無しさん。 2023/04/25(火) 21:37:00.53 ID:luXvwaeF0
>>25
そもそもChatGPTは数百人規模の人間と同じ規模のシステムだからなぁ。
それなら人間も数百人用意して、やっと公平な条件なのにさ。
34: 名無しさん。 2023/04/25(火) 21:46:37.11 ID:ZlltXH7a0
一級建築士の製図試験やれないかな模範解答と比べたい
35: 名無しさん。 2023/04/25(火) 21:50:25.92 ID:2F55LqbY0
そりゃそうだろよ。ネットから回答拾ってくるだけだしな
37: 名無しさん。 2023/04/25(火) 22:07:07.53 ID:mebD45Om0
葬儀屋潰れないと思って就職したけど家族葬に客取られてちょっと焦ってる
40: 名無しさん。 2023/04/25(火) 22:19:13.93 ID:pCSDJ+t00
もうコンサル屋はみな廃業だな(´・ω・`)
53: 名無しさん。 2023/04/25(火) 23:09:46.58 ID:gkhN5JTa0
いまのGPTにできないことや弱点を必死に吊し上げても意味ないぞ
リアルタイム検索、画像入力対応、プラグインであらゆるアプリと統合、すでに予定されてる技術だけでもAIでほぼ何でもできる未来は確定してる
現実逃避しないで向き合えよ
54: 名無しさん。 2023/04/25(火) 23:15:22.44 ID:AYc3Khkj0
人生半分くらいルーチンだしな
55: 名無しさん。 2023/04/25(火) 23:18:09.77 ID:r59aaGDy0
もうAIのが胸部X線の写真判定とかも精度高いっていうよな
型通りに一定水準のものを延々こなすような事務系業務はまじで人要らなくなりそ
56: 名無しさん。 2023/04/25(火) 23:19:44.59 ID:0Q1Wbly60
カンニングとか言ってる奴等多いけど、お前らネット検索可なら受かる自信あんの?
57: 名無しさん。 2023/04/25(火) 23:29:29.67 ID:oSuH3THw0
AIの可能性はまだまだ発展性あるけど人間の可能性はもうドン詰まり
58: 名無しさん。 2023/04/26(水) 00:15:45.34 ID:ZK1rS62B0
そのうち医者もいらなくなるのかよ
59: 名無しさん。 2023/04/26(水) 00:34:45.74 ID:nE+3pfll0
早く義体化して永遠に生きれるようにしろよ
60: 名無しさん。 2023/04/26(水) 05:42:32.95 ID:7PsFSprE0
前のバージョンで東大の入試問題で9割取ったりgoogleの3次試験パスしたりしてたからな
85: 名無しさん。 2023/04/26(水) 09:53:32.78 ID:cuz9U0CM0
>>60
そりゃ、カンニングしていいなら人間でもパスできるわwwww
64: 名無しさん。 2023/04/26(水) 06:39:14.66 ID:87N+aZTv0
医師国家試験通るだけで臨床医なんてできないわけで
そこから1人前の専門医になるまでが長いわけで

その前にちゃんと医学部受験通過しろよな

66: 名無しさん。 2023/04/26(水) 06:40:53.38 ID:87N+aZTv0
ほんでこのAI
当直こなしてくれるのか?
68: 名無しさん。 2023/04/26(水) 06:43:26.60 ID:lHcNKmTr0
>>66
システムについては24時間対応出来ても
人や機械がする物理的な作業は不可です。
67: 名無しさん。 2023/04/26(水) 06:41:54.72 ID:lHcNKmTr0
まあNHKや商社などの企画や経理事務人事などの業務については代行可能ですがね。
69: 名無しさん。 2023/04/26(水) 06:44:32.47 ID:SX4cDYnB0
キツめに縛られた中で特定の役回りを求められるのって
本質的には大体こんな作業だと思うけどな
70: 名無しさん。 2023/04/26(水) 06:45:44.08 ID:KkInFO+T0
見知らぬロボに命預けられるならどうぞ
71: 名無しさん。 2023/04/26(水) 06:46:55.97 ID:NySxTiLz0
そりゃネット検索して答えてるようなもんだし100点じゃない方がおかしいんじゃね

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です