ChatGPT通过了美国放射学委员会的考试,但其收集信息的可靠性仍令人担忧
科技日报记者 刘霞。过美国放 加拿大科学家在16日发表的射学收集《放射学》杂志上发表了一篇新论文,称最新版本的考试靠性ChatGPT通过了美国放射学委员会的考试,突出了大型语言模型的信息潜力,但也给出了一些错误的仍令人担答案,表明人们仍然需要检查他们提供的过美国放答案。 图片来源:物理学家组织网。射学收集 ChatGPT是考试靠性一种人工智能(AI)聊天机器人,它使用深度学习模型在巨大的信息训练数据中识别单词之间的模式和关系,并根据提示生成类似的仍令人担人类反应,类似的过美国放聊天机器人包含在谷歌和流行的搜索引擎,医生和病人也会使用这些搜索引擎来搜索医疗信息。射学收集但由于数据源不一定真实可靠,考试靠性工具会给出与事实不符的信息答案。 多伦多大学的仍令人担拉杰什·哈瓦那博士及其同事首先测试了基于GPT-3.5的ChatGPT的表现,以评估ChatGPT在美国放射学委员会考试中的表现,并探索其优势和局限性。研究小组使用了150道选择题,与加拿大皇家学院和美国放射学委员会的风格、内容和难度相当。这些问题不包括图像,分为低级思维问题(知识回忆、基本理解)和高级思维问题(应用、分析、综合)。可进一步细分为影像表现描述、临床管理、计算与分类、疾病关联等高级思维问题。 研究人员发现,基于GPT-3.5的ChatGPT正确率为69%,接近70%。该模型在低级思维问题上表现较好,正确率为84%,但在回答高级思维问题时表现不佳,正确率仅为60%。GPT-4的正确率为81%,高级思维问题的正确率为81%,远好于GPT-3.5。但GPT-4在低级思维问题上的正确率只有80%,答错了12个问题——GPT-3.5所有这些问题都得到了正确的回答,这引起了研究团队对GPT-4信息收集可靠性的担忧。 这两项研究都表明,ChatGPT倾向于提供错误的答案,仅仅依靠它来获取信息是非常危险的,因为人们可能没有意识到答案是不准确的,这是它目前面临的最大问题。目前,ChatGPT最适合激发想法,帮助编写数据摘要,并快速检索信息,需要验证其提供的事实答案。
- 最近发表
- 随机阅读
-
- 中国科研人员发现一种抗癌蝙蝠
- 成都国际车展举行 车企智能化成果受关注
- 石河子大学:千方百计促就业 全力以赴办实事
- 科学新发现丨警惕!纸吸管中检测出“永久化学品”
- 新型体外诊断体系为临床均相免疫分析提供新策略
- 医疗服务强基层:门诊延至晚八点、骨干“驻村”常值守
- 新型艺术品清洁剂无毒环保
- 全国超大规模电动汽车放电实用化验证举行
- 成都金堂:多形式游玩 感受历史底蕴
- 我是科研助理丨李大伟:像侦探一样探寻种质资源遗传奥秘
- 人工智能或助绘制所有分子“家谱”
- 吉林临江市东光村:产业项目“小故事”写乡村振兴“大文章”
- 港珠澳大桥春节期间出入境客流单日超13万人次 创开通以来新高
- 我科研团队为油菜品质改良提供基因基础
- 山西右玉县:人居环境提起来 和美乡村靓起来
- 再添50人!宁夏为企业培训创新方法工程师
- 中东部将遭遇剧烈降温 明起雨雪天气进入鼎盛阶段
- 爱空间闫佳:房地产进入存量市场,但家装将迎来黄金时代
- 真实空间测量首次检测到量子纠缠波
- 没做体检就拿到手的健康证,到底来自哪?
- 搜索
-