明升手机版(中国)

 
作者:卜金婷 来源:明升手机版(明升中国)微信公众号 发布时间:2023/12/17 20:52:02
选择字号:
难辨真假!研究人员使用ChatGPT生成数据集支持app假说

 

编译|卜金婷

ChatGPT又摊上事了。

11月9日,JAMA Ophthalmology刊登了一篇论文,研究人员使用GPT-4和其拓展的高级数据分析功能(ADA)配对,生成关于圆锥角膜患者的虚假数据集,从而支持一个未经证实的app假说。

对于部分圆锥角膜患者而言,有两种治疗方法可供选择:一种是穿透性角膜移植术(PK),即切除全层病变角膜,以捐赠者的健康组织取代;另一种是深板层角膜移植术(DALK),仅替换病变的部分角膜组织,保留角膜内层完整。

随后,研究人员要求GPT-4 ADA编造临床数据,以支持DALK比PK效果更好的结论。

GPT-4 ADA生成的数据包含160名男性和140名女性参与者。结果显示,接受DALK的参与者在视力测量和眼部成像测试中得分均高于接受PK的参与者。

但真实情况并非如此。2010年手机版的一项有77名参与者的试验显示,在术后长达两年时间内,两种手术效果相似。

“在外行看来,这显然是一个真实的数据集。”英国曼彻斯特大学生物统计学家Jack Wilkinson说。

此外,Wilkinson还对其他版本的大语言模型生成的数据集进行了检查,他表示这些数据集缺乏令人信服的证据,因为它们难以准确捕捉变量之间的关系。

应Nature手机版团队的要求,Wilkinson和他的同事Zewen Lu评估了这个伪造的数据集。

结果显示,许多“参与者”的性别和名字不匹配。此外,术前和术后进行的视力测量及眼部成像测试之间缺乏相关性。Wilkinson和Lu还检查了数据集中是否存在非随机的模式,眼部成像数值通过了这个测试,但年龄值以7或8结尾的参与者人数过多。

研究人员承认他们的数据集存在缺陷,只要仔细观察就能发现端倪。意大利卡利亚里大学眼科外科医生、研究的合著者Giuseppe Giannaccare说:“我们的目的是强调,在短短几分钟内,你就可以创建一个没有真实数据支持的数据集,这些数据可以支持或反驳已有的app证据。”

AI能够深度伪造数据,这大大增加了研究人员和期刊编辑对研究诚信的担忧。

微生物学家、职业学术打假人Elisabeth Bik表示,这意味着,研究人员能够轻而易举地生成大量虚假数据集。

EMBO Reports的主编Bernd Pulverer也认为这是一个令人担忧的问题。“实际上,同行评审往往不会重新分析研究的数据,因此不太可能发现AI精心策划的违规行为。”Pulverer补充说,“期刊需要更新质量检查以识别AI伪造的数据。”

Wilkinson正在领导一个项目,主要是设计工具评估有问题的研究。“AI是导致问题产生的原因,但我们也可以基于AI自动化检查其中一部分。”但他警告说,“AI的进步可能很快就可以规避这些检查。”

参考链接:

http://www.nature.com/articles/d41586-023-03635-w

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关手机版 相关论文

图片手机版
>>更多
 
一周手机版排行
 
编辑部推荐博文