点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

由中国科协立项支持、中国自然辩证法研究会主办的人工智能认知安全青年科学家沙龙8月25日在中国科技会堂举办,20余位来自高校、科研院所及企业的优秀青年科学家围绕相关议题开展交流研讨。本次活动立足总体国家安全观,聚焦人工智能从技术研发到社会运用全周期的认知安全风险与对策,服务科技发展、产业升级以及国家发展战略。北京理工大学教育学院副院长徐源担任执行主席,智慧教育与数字学习研究所副研究员顾心怡担任学术秘书。

沙龙设三个主旨报告。徐源作“多智能体系统的安全风险边界与治理挑战”报告,全面梳理了系统自主博弈、群体涌现行为、迭代推演偏差等引发的内生安全风险,剖析了现有技术防控体系与治理规则之间的适配性短板,提出构建适配多智能体系统运行规律的精准防控机制,完善技术层面的风险治理框架。启元实验室梁满庭以“大模型角色扮演与偏好漂移:从文本表象到内部的特征分析”为题,立足“表象—特征”双层分析框架,界定了偏好冲突的内部形态,梳理了其形成与演化机制,并利用稀疏自编码、线性探针、激活操控等方法进行识别与验证,为构建角色扮演场景下的模型元认知提供了启示。理工启智科技有限公司马欣然围绕可持续人机协同智能的构建,系统审视了生成式人工智能介入思考后“认知外包”对学习、判断与创造过程的重塑,分析了由“认知卸载”滑向“认知投降”的潜在风险,强调通过优化人机分工、保留必要的认知摩擦,守护人类思维的自主性、能力基线与认知多样性。
自由交流环节,青年科学家们围绕人工智能发展前沿、认知风险挑战及对策等话题展开深入讨论。其中,中电科发展规划研究院有限公司秦浩认为,要着力引导公众辩证、理性地认识人工智能的认知安全。西北农林科技大学何景毅认为,要审视和防范新技术介入可能带来的乡土认知安全风险。中国船舶集团有限公司郑建朋指出,要深刻洞悉智能科技的应用风险,分层分类加强风险教育和引导。北京交通大学陆慧指出,在生成式人工智能辅助精神创伤疗愈中,应区分“帮助理解记忆”与“制造虚假记忆”。北京极智成思科技有限公司张超琼强调,当AI幻觉成为“社会共识”时,技术纠偏便会失去意义,仅靠“技术补丁”可能无法治理“社会认知污染”。中国科学技术发展战略研究院韩军徽认为,当技术迭代速度远超治理体系响应能力时,“先发展、后治理”路径即意味着风险暴露。
经过深入研讨,与会青年科学家形成了多项共识。一是明确AI认知安全的极端重要性。必须跳出单一技术安全视角,将AI认知安全纳入国家安全整体布局,构建常态化风险研判、预警、防控体系。二是构建认知安全交叉融合理论体系。建立适配智能时代的认知权益保护理论框架,通过制度设计、规则约束和理论支撑,守住人类认知自主底线。三是划定AI认知干预的刚性安全红线。坚持创新发展与安全规范并重,聚焦人工智能重点应用场景,明确认知干预、认知操控、认知误导等不可逾越的红线。四是加强细分领域认知安全次生风险防范。针对高频风险场景制定专项认知安全规范标准,防范技术滥用引发的社会认知偏差、群体情绪极化、公共信任消解等次生风险。五是筑牢公民认知安全防护根基。加快培育兼具技术能力、认知素养和法治思维的复合型专业人才,提升公众抵御算法认知诱导的综合素养,形成多元共治格局。
会后,青年科学家们赴启元实验室实地考察,深入了解人工智能前沿发展及应用场景,进一步加深了对人工智能认知安全的认识与理解。
