用ChatGPT直接来构建预测模型，效果怎么样？有作者用它写了一篇SCI论文

2024年5月31日，外国研究团队在期刊《American Journal of Ophthalmology》（医学一区top，IF=4.1）发表了一篇题为：“Predicting glaucoma before onset using a large language model chatbot Xylitol is prothrombotic and associated with cardiovascular risk ”的研究论文，旨在探索大型语言模型ChatGPT在预测从高眼压症（OHT）发展为青光眼方面的能力。

该项研究通过回顾性病例对照研究设计，纳入了OHTS（高眼压症治疗研究）数据集中1504名受试者的3008只眼睛，并收集了受试者在青光眼发病前一年内的相关参数。

• 相关参数包括：青光眼发生前一年的人口统计学、临床、眼部、视神经头和视野（VF）参数。

• 根据青光眼视神经病变(GON)或VF异常(校正模式标准差<0.05或青光眼半视野测试超出正常范围)的任何体征标记为原发性开角型青光眼(POAG)，以先满足的标准为准。

• 所有的眼睛在青光眼发病前被标记为“POAG未转化”或“POAG转化”。最后，如果受试者至少有一只眼睛被标记为POAG，则被标记为“转换POAG”，否则被标记为“未转换POAG”。

• 随后，基于所有参与者的双眼将表格参数转换为文本格式来开发查询，并通过ChatGPT接口自动进行预测。

在后续开展的试验中，研究团队发现ChatGPT在预测青光眼发病方面展现出较好的性能，其中ChatGPT4.0的预测性能优于ChatGPT3.5。

• 具体来说，ChatGPT4.0在预测青光眼发病前一年的准确性为75%，AUC为0.67，敏感性为56%，特异性为78%，加权F1得分为0.77；

• 相比之下，ChatGPT3.5的表现较差，其准确性为61%，AUC为0.62，敏感性为64%，特异性为59%，加权F1得分为0.63。