ChatGPT 几乎通过美国医生执照试得分接近及格线

游研社 • 2023年9月29日 08:47 • 投稿

据报导，人工智能聊天机械人ChatGPT最近几乎通过美国医师执照考试（US Medical Licensing Exam （USMLE）），得分达到或接近 60 分及格线。

众所周知医生执业试以高难道见称。上周四（2月9日）美国期刊《PLOS Digital Health》发表研究报告指，ChatGPT「应考」了美国医师执照考试，挑战2022年6月版376条试题中的350条试题，最终取得的成绩达到或接近及格线。研究人员更指 ChatGPT 有份协助撰写研究报告。

美国医师执照考试实际上由三个考试组成，涵盖由基础科学概念到生物伦理等所有内容，一般需要300 – 400小时准备时间。据研究人员在论文指，ChatGPT在未经专门训练或强化的情况下，在3个部份分别取得52.4至75分的成绩，达到或接近60分及格线。

研究人员表示，ChatGPT能提供每个回答背后的理据，在考试的解释中表现出高水平的洞察力和一致性。值得注意的是，ChatGPT有88.9%的回答包含至少一个重要见解，即见解较新颖独到，在临床上会有效果但不是人人能看得出来。 ChatGPT 的分数甚至击败了 PubMedGPT，一个专门针对医学文献的人工智能聊天机械人。 PubMedGPT的分数仅有50.3%。

虽然 ChatGPT 表现超乎预期，但就现阶段而言，在可见的未来它都不能取代医学专家。研究人员表示，ChatGPT于未经人为强化训练的前提下，在 USMLE 取得及格分数，显示这类大型语言模型有潜力协助医学教育，和为临床决策提供建议。