• 关闭
鼎函
发布于 2025-10-10 / 5 阅读

鼎函思考 | 告别“盲信”算法:专家呼吁构建AI时代的科研新信任机制

人工智能(AI)技术正以前所未有的深度融入科研活动,在提升研究效率的同时,也催生了一系列新型科研诚信问题,如“AI洗稿”“数据装饰”和“AI代笔”等现象。为应对这些挑战,中国科学院学部于9月26日在北京召开“人工智能时代的科研诚信”科技伦理研讨会,邀请专家学者共同探讨如何构建适应AI发展的科研诚信体系,推动形成负责任的人工智能应用共识。

随着以ChatGPT为代表的大语言模型广泛应用,AI已渗透进知识检索、数据处理乃至学术写作等多个科研环节,显著提升了研究效率。然而,AI的深度参与也改变了传统科研的主体结构,使研究过程从以人为主导逐渐转向人机协作甚至算法主导,由此带来了诸多新问题。

在新的研究范式下,科研成果的贡献归属日益模糊,研究过程的透明度下降,结果的可解释性也面临挑战。更为严峻的是,AI系统可能内嵌算法偏见,甚至生成看似合理实则虚假或误导的内容,严重威胁研究结果的可靠性。

中国科学院学部科学道德建设委员会主任胡海岩院士指出,当前AI生成内容的检测技术发展滞后于生成技术,传统查重和识别手段逐渐失效,使得科研不端行为更加隐蔽和复杂。胡海岩强调,“科研诚信是科学事业的基石,面对人工智能带领的调整,应更加坚守诚信底线,推动制度、技术与文化的协同治理,营造公开透明、诚实守信、风清气正的科研生态。”

北京大学教授梅宏院士进一步分析认为,AI从两个方面加剧了传统科研不端行为:一是生成式AI的高效率大幅降低了造假成本;二是大模型生成内容在结构、语言和格式上质量较高,使识别和判断的难度显著提升。

梅宏还指出,AI应用引发了责任归属的新问题。“当大模型生成错误或‘幻觉’内容时,应视为‘技术局限’还是使用者的责任?AI能否作为论文作者?”他举例说明,已出现利用AI进行“操纵审稿”的新手段,如在论文中嵌入特定指令以干扰AI评审系统。

值得警惕的是,AI生成内容可能对知识体系造成污染。近期有案例显示,部分自媒体发布杜撰的“科技新闻”,虚构知名高校研究成果。这些由AI生成、语言流畅但内容失实的文章被广泛传播,误导公众认知,侵蚀知识可信度。

南京大学党委书记谭铁牛院士对此表示担忧:“如果AI生成的虚假或错误内容未能被有效识别而进入学术传播渠道,其长期危害不容忽视。”

面对这些挑战,亟需构建系统性应对机制,在充分利用AI技术赋能科研创新的同时,筑牢科研诚信防线。梅宏提出三点建议:加强理论探索与案例分析,理清AI对科研诚信的作用机制;开展科技伦理教育与AI技能培训,引导科研人员合理使用工具;推动形成全球共识,构建适应AI时代的科技伦理治理框架。

“人工智能对科研而言,既是赋能创新的强大工具,也可能成为引发风险的潜在源头。”谭铁牛强调,“必须管理与技术并重、制度规范与教育文化协同、国内治理与国际合作并举,系统应对人工智能带来的科研诚信挑战,确保我国科技事业在健康轨道上行稳致远,为人工智能更好地服务人类发展贡献中国智慧。”

文源:国际科技创新中心记者陆成宽