ChatGPT可以帮助医生，同时伤害病人

从去年年底开始风靡全球，尤其受到国内资本和科技人士的追捧； 但是，国外也有很多理性的思考。 这种“革命性”的技术进步还是多方面的，技术进步也不一定是必然的。 导致令人兴奋的积极结果。 接下来，我会陆续翻译一些含有“理性”信息的文章。 以下为第一篇文章，主要翻译自《连线》2023年4月的文章：

聊天机器人以其提供医疗信息的能力吸引着医生，但研究人员警告不要将困难的道德决定留给人工智能。

罗伯特·珀尔 ( Pearl) 是斯坦福医学院的教授，也是拥有超过 1200 万患者的美国医疗集团 的前首席执行官。 如果他继续掌权，他会坚持让所有 24,000 名医生立即开始执业。

“我认为这对医生来说将比过去的听诊器更重要，”佩尔说。 “没有医生会在不使用或其他生成人工智能的情况下完成他们的工作。”

佩尔不再行医，但他说他知道一些医生正在用它来总结病人护理、写信，甚至在遇到困难时寻求如何诊断病人的想法。 他怀疑医生会发现数以千计的聊天机器人应用程序可能有益于人类健康。

随着此类技术挑战谷歌的搜索主导地位并引发有关行业转型的讨论，语言模型开始显示出承担以前为程序员、律师和医生等白领工作者保留的任务的能力。 这引发了医生之间关于这项技术如何帮助他们为患者服务的对话。 医疗专业人士希望语言模型能够从数字健康记录中挖掘信息，或者为患者提供冗长的技术性笔记摘要，但有人担心它们可能会愚弄医生或提供错误的答案，从而导致错误的诊断或治疗计划。

开发人工智能技术的公司将医学院考试作为竞争基准，以此来构建更强大的系统。 去年，微软研究院推出了一种语言模型，在各种医疗任务上都取得了高分，而马萨诸塞州总医院和医学博士的一篇论文声称它可以达到或超过美国医师执照考试的 60% 及格分数。 几周后，谷歌和谷歌的研究人员推出了 Med-PaLM，在同一测试中达到了 67% 的准确率，尽管他们还写道，虽然令人鼓舞，但他们的结果“仍然不如临床医生”。 微软和全球最大的医疗保健软件供应商之一 Epic 宣布计划使用 GPT-4 作为搜索电子健康记录趋势的基础。

哈佛一位研究人工智能对医疗保健影响的公共卫生讲师在第一次使用它时就印象深刻。 她要求一份关于如何使用模拟社会关系来研究艾滋病的摘要，这是她的研究主题。 最终，这个模型对她来说触及了陌生的领域，她无法再判断它的准确性。 她开始想知道如何调和医学论文中两个截然不同或相反的结论，以及谁来决定一个答案是适当的还是有害的。

马蒂现在说，与早年经历相比，她“不那么悲观了”。 她认为它可以用于诸如总结文本之类的任务，但前提是用户知道聊天机器人可能不是 100% 正确并且可能会产生有偏见的结果。 她特别关注心血管疾病诊断工具和重症监护伤害评分的处理，这些工具有种族和性别偏见的记录。 但她在临床环境中仍然对它保持警惕，因为它有时会捏造事实并且不知道它所基于的信息的时间。

“医学知识和实践随着时间的推移不断变化和发展，在提供典型治疗方案时，无法确定从医学时间表中的哪个时期得出信息，”她说。 “这些信息是最新的还是过时的？”

用户还需要注意，程式化的聊天机器人可以表面流畅的方式呈现虚构或“幻觉”信息，如果不验证算法的响应，可能会导致严重错误。 此外，AI 生成的文本会以微妙的方式影响人类。 1 月份发布的一项尚未经过同行评审的研究提出了一些伦理问题，并得出结论认为，即使人们知道建议来自 AI 软件，聊天机器人仍将是一个前后矛盾的道德顾问，可能会影响人类的决策过程。

成为一名医生远不止是反复背诵百科全书般的医学知识。 虽然许多医生热衷于将它用于文本摘要等低风险任务，但一些生物伦理学家担心，当医生面临艰难的伦理决策时，例如是否对存活或康复可能性较低的患者进行手术，医生会转向向聊天机器人寻求建议。

“你不能将这个过程外包或自动化到生成人工智能模型，”爱丁堡大学技术伦理未来中心的生物伦理学家杰米韦伯说。 去年，Webb 和他的团队在之前的研究基础上寻找灵感，探索构建人工智能驱动的医学“道德顾问”需要什么。 韦伯和他的合著者得出结论，这样的系统很难可靠地平衡不同的道德原则，如果医生和其他工作人员过于依赖机器人而不是根据他们的想法做出复杂的决定，可能会导致“道德技能下降”自己的。

Webb 指出，医生们被告知语言处理 AI 将彻底改变他们的工作，但最终都感到失望。 赢得危险后！ 在 2010 年和 2011 年的竞争中，IBM 的 部门转向肿瘤学，并声称人工智能在抗击癌症方面的有效性。 然而，这个最初被称为“盒装斯隆”的解决方案在临床环境中并不像宣传的那样成功，2020 年，IBM 关闭了该项目。

当炒作失败时，可能会产生持久的后果。 在哈佛大学一个关于人工智能在医学中的潜力的小组讨论会上，基层医生 Panch 回忆说，在聊天机器人发布后不久，他看到一位同事发布了使用聊天机器人诊断疾病的结果。

兴奋的临床医生很快提出要在他们自己的实践中使用该技术，Pinch 回忆说，但大约在第 20 次回复时，另一位医生插话说该模型生成的所有参考资料都是假的。 “只需要一两件事就可以摧毁对整个系统的信任，”这家医疗软件初创公司的联合创始人潘奇说。

曾在 工作的 Pearl 对这样的语言模型持乐观态度，尽管 AI 有时会犯明显的错误。 他认为，未来几年，语言模型在医学领域会变得更加相似，功能和能力更加丰富，可以提升医生帮助患者管理慢性病的能力。 他甚至怀疑像这样的语言模型可以帮助减少美国每年因医疗错误造成的 250,000 多人死亡。

Pearl 确实认为有些事情不适合人工智能处理。 帮助人们应对悲伤和失落，与家人进行临终对话，以及讨论涉及高风险并发症的程序不应该涉及机器人，因为每个病人的需求都是多变的，你必须进行这些对话才能达到目标，他说。 目标。

“那些是人与人之间的对话，”珀尔说，他预测现在可用的技术只是潜力的一小部分。 “如果我错了，那是因为我高估了技术进步的速度。但每次我看，它的发展速度都比我想象的要快。”

现在，他把它比作一个医学生：能够为病人提供护理和帮助，但它所做的一切都必须经过主治医师的审查。