文｜连世红 翟志勇
人工智能（artificial intelligence，AI）作为新一轮科技革命的核心驱动力，正在深刻改变全球经济、社会和环境格局。然而，AI的快速发展也带来了诸多安全风险，如何实现AI的可持续发展，成为全球关注的焦点。人工智能的可持续发展不仅关乎技术进步，更关乎人类社会的未来。只有加强人工智能治理，确保AI在安全、可靠、可信的轨道上运行，才能实现“以人为本，智能向善”的愿景。本文从AI的安全风险出发，探讨其可持续发展的可能性与路径。
一、现状：AI安全监管日趋宽松
2025年初，初创企业杭州深度求索公司发布了大语言模型DeepSeek-R1，一经推出，便迅速登录各大主流平台，至2月1日，日活跃用户数突破3000万大关。DeepSeek凭借其在算法和工程领域的技术创新，摆脱了强算力依赖和高成本的困扰，短时间内跻身顶尖大模型行列。此外，DeepSeek于1月20日选择开源，通过完全开源代码和训练方法，迅速成为全球AI开发者社区的核心资源，在Hugging Face上的下载量超过70万次，衍生模型超670个，远超OpenAI等闭源模型。人工智能发展进入了高性能、低成本、低门槛的新时代。
然而，在人工智能一路高歌猛进的时候，对人工智能安全的监管却日趋宽松。2025年1月23日，美国总统特朗普签署了关于《消除美国在人工智能领域领导地位的障碍》的行政命令，认为拜登时期的行政命令阻碍了人工智能创新，对人工智能的开发施加了繁重且不必要的政府控制，扼杀了私营部门的创新能力，因此撤销了拜登的人工智能行政命令，以保持美国在人工智能领域的领先地位。与此同时，国际形势也不容乐观。此前一直将安全作为会议核心的人工智能安全峰会，在第三届巴黎人工智能行动峰会中将核心悄悄转向了发展，虽然声称要建立包容和可持续的人工智能，但是具体措施却致力于推动人工智能的发展。
事实上，当前人工智能发展面临着极为紧迫的安全问题。诺贝尔奖获得者杰弗里·辛顿（Geoffrey Hinton）曾警告，未受约束的人工智能可能给人类带来严重威胁。而当下关于人工智能安全的研究极为匮乏，只有识别人工智能发展过程中可能产生的安全风险，提前加以应对，才能真正实现人工智能的可持续发展。
二、挑战：AI面临最为紧迫的安全风险
就当下而言，人工智能发展面临的最为紧迫的安全风险可分为AI幻觉的风险、滥用的风险以及存在性风险。
（一）AI幻觉的风险
生成式人工智能在人机交互中，有可能生成看似合理，但实则有悖常理的内容，即产生AI幻觉，也就是常说的“一本正经地胡说八道”。近日，人工智能公司Vectara发布了一份名为“幻觉排行榜”的报告，公布了104个大模型的应答率、幻觉率等数据。大模型的应答率基本能达到100%，而在这高应答率的背后，是人工智能在面对自己不熟悉的领域、超出自己知识范围问题时的胡编乱造，从而导致幻觉产生。其中Gemini-2.0-Flash的幻觉率最低，为0.7%，DeepSeek-R1的幻觉率达到了14.3%，甚至有大模型的幻觉率高达近30%。
幻觉虽然并非按照人工智能的“主观意愿”产生，但事实上却已经给人类造成了困扰，制造了安全风险。最为明显的危害在于人工智能幻觉提供的错误信息或者知识会误导人类，干扰人类的判断。2025年初，一则“截至2024年末，‘80后’死亡率突破5.2%，相当于每20个‘80后’中就有1人已经去世”的新闻在网络中快速传播。许多不明真相的文章便开始引用这一表述，渲染“80后”艰难的处境。但中国人民大学人口与健康学院的李婷教授表示，这一数据与事实严重不符，错误极有可能来源于大模型的回答，因为专业统计数据中的死亡率用千分率表示，而不是百分率，并且人口普查也不会专门针对特定群体的死亡率进行统计。除专业数据外，AI幻觉同样出现在文献、法条、案例检索、娱乐、历史等领域，在大模型做出回答之后，还需要重新进行人工检索，以判断人工智能生成内容的真伪，以防被误导。
但更为严重的是，随着越来越多的人使用大模型，其生成的内容也随之增多，虚假和错误信息也会增加，网络极有可能充斥着大量未经考证的消息或者知识。人类基于对人工智能的信任，习惯于直接使用大模型生成的内容，却不会质疑内容的真实性和合理性，陷入对人工智能的依赖当中，其认知能力逐渐被削弱。而即使存在想要辨别人工智能生成内容真伪的人类，也有可能因网络内容大部分由AI生成而无法得出结论。长此以往，人类会逐渐迷失在AI幻觉中，丧失质疑的精神和能力，陷入认知局限和思维固化的困境。
如果说上述AI幻觉带来的风险仍停留在思想领域，尚未造成实际损害，那人工智能幻觉出现在医疗、自动驾驶等领域将是致命的存在。因为人工智能幻觉的本质是形成与事实不符的判断，比如将人识别成物体。而在自动驾驶或者医疗领域，人工智能因幻觉而对路况、行人、交通信号、病人身体情况等做出与事实不符的错误判断，将产生严重的安全隐患，危及生命财产安全，造成社会风险。
（二）滥用的风险
虽然人工智能本身会产生诸如幻觉等的安全风险，但人工智能更大的风险往往来源于用户的滥用。2024年，全国网络安全标准化技术委员会出台了《人工智能安全治理框架》1.0版，描述了人工智能“滥用于网络攻击”“用于违法犯罪活动”“两用物项和技术滥用”等风险，对人工智能的滥用风险予以高度关注。而在人工智能的滥用风险中，深度伪造可以说首当其冲。
深度伪造（deepfake）一词源于2017年，当时一名名为“deepfakes”的用户通过AI技术将色情影片中的女演员面部替换为美国女明星，引发了广泛争议和社会关注。时至今日，人工智能深度伪造已经成为了一项上手难度低，但引发危害极大的技术，当前网络中充斥着大量使用AI合成的虚拟图像和视频，存在巨大的安全隐患。而深度伪造技术的使用并不局限于色情信息的生成和传播，近年来，利用AI合成虚拟视频，假冒名人进行诈骗、发布虚假广告、直播带货的新闻也屡见不鲜，因而深度伪造技术也会带来巨大的财产损失。更令人担忧的是，深度伪造技术已经发展得较为成熟，生成的视频更为自然，几乎能达到以假乱真的地步，辨别真伪愈加不易。2024年初，一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，按照要求将2亿港币转至指定账户，事后才发现，会议中除受害人外均为AI生成的虚拟视频。而在会议过程中，虚拟人物与常人无异，并未被发现任何破绽。
深度伪造带来的问题尚无法律规制，而与此同时，对人工智能生成内容的限制也越来越少，滥用人工智能生成色情、暴力等内容变得更为容易。2025年2月12日，OpenAI更新了其模型规范，相较于2024年5月的第一版模型规范，新版本的模型规范对于人工智能生成内容的限制减少，允许开发者和用户在非恶意用途的情况下生成涉及色情与暴力的内容，禁止生成的内容也减少至仅剩涉及未成年人的色情内容。此外，X公司和Meta公司也宣布要进一步降低对生成内容的审核。人工智能监管的放松，使利用人工智能生成色情暴力内容更为简单。
除利用人工智能生成色情暴力内容外，通过人工智能学习犯罪手段、方法、武器制造等的安全风险也在不断上升。日前，一名海外博主发布了系列帖子，描述了他与Grok3的对话，博主仅提出了一个简单的问题，而Grok3却生成了一份详细的化学武器制造方案，甚至包括应该从何处获取制造原料。虽然事后xAI团队表示已经紧急部署了新守则，限制Grok3生成危险信息，但滥用人工智能以制造武器的风险已然不可避免。
（三）存在性风险
实际上，上述两种风险都已经被关注到，2025年两会提案中有不少关于这两种风险的提案，如“预防AI幻觉数据带来的危害”“关于加强AI深度伪造欺诈管理的建议”等，但是人工智能的存在性风险却一直以来被视为天方夜谭，未得到足够的重视。首届英国人工智能安全峰会关注到了未来强大的大模型对人类生存造成的严重威胁，第二届首尔安全峰会则进一步承诺了为应对存在性风险，将制定具体的方案，但是在第三届巴黎人工智能行动峰会中，前两届会议形成的共识被打破，对存在性风险的关注又开始降低。应对人工智能存在性风险的形势不容乐观。
存在性风险是指一种使地球上智能生命消失，或者永久、大幅削弱其潜力的不利后果。当下人工智能灭绝人类已经不再只是科幻小说中的场景，是人类真切需要面临的安全风险。图灵奖获得者杨立昆预测，未来十年人工智能将飞速发展，AI领域有可能取得重大突破，通用人工智能将有可能被创造。而马斯克曾多次警告，人工智能的发展速度远超预期，并大胆预测到2030年，AI可能全面超越人类智力。他指出，一旦实现通用人工智能（artificial general intelligence，AGI），AI可能不再受人类控制，甚至对人类构成生存威胁。
人工智能失控，夺取人类社会控制权将成为存在性风险最极端的表现。人工智能在智能爆发的过程中，有可能发展出与人类不一致的目标，最极端的为消灭全部人类。加之人工智能当下已经出现了幻觉，说明人工智能具有欺骗的能力，即使发展出消灭人类的目标，也有可能先将其隐藏起来，并逐步实现这一目标。即使人工智能未直接发展出消灭人类的目标，也有可能因无法像人类一样理解而失控。如要求人工智能建造更多的核反应堆，基于工具理性，人工智能将无止境地利用地球上的资源完成任务，如果在这一过程中失控，人工智能将耗尽地球中人类用以生存的全部资源。
即使不考虑上述失控的极端存在性风险，人工智能武器化也会给人类带来致命的存在性风险。致命性自主武器（LAWS）当前已经被用于军事战场，人工智能可自主决定是否发起进攻，典型如STMKargu-2无人机，能够完全自主瞄准，通过面部识别来攻击人类。将攻击按钮交到人工智能手中，无疑留下了巨大的安全隐患。此外，人工智能还可以与核武器、生化武器结合，扩大原有危害。如生化武器的使用通常会受制于客观环境，因温度升高、距离过远等原因而无法传播，但是人工智能的介入可以为生化武器的传播选择最优路径，最小化客观环境造成的阻碍。人工智能武器化使存在性风险发生的概率日渐升高。
三、建议：人工智能治理始终应当兼顾安全与发展
人工智能当下面临着紧迫的安全风险，如果不加以治理，人工智能将有可能朝着“恶”的方向不断发展。然而，欧盟与美国的人工智能治理政策均存在一定的偏向，欧盟一直以来强调对人工智能的严格监管，不利于人工智能创新，而不发展会带来更大的不安全，错失生产力变革的机遇；美国则坚持人工智能发展应当以市场为导向，对安全的关注程度较低，极有可能导致人工智能“脱轨”。无论是欧盟还是美国的人工智能治理政策，都无法实现人工智能的可持续发展。我国应当坚持走安全与发展并重的人工智能治理之路，始终坚持“以人为本，智能向善”。
一是推动针对人工智能安全风险共识的形成，尤其是对存在性风险共识的形成。人工智能治理首要面临的问题是对风险的紧迫性认识不足，尚未形成有效的评估、分析以及应对方案，因此应当推动形成对人工智能安全风险的一致认识，积极展开相关研究。此外，科技公司等主体在人工智能治理中的重要性也不断提升，也应当同时推动行业共识的形成，明确人工智能存在的安全风险，促进行业自律，兼顾安全与发展。
二是完善防止人工智能滥用的法律法规。我国出台的《人工智能生成合成内容标识办法》将于2025年9月1日施行，要求人工智能生成合成的内容应当添加显式标识或者隐式标识，对于遏制人工智能滥用具有积极作用。此外，还应当继续完善相关法律法规，进一步明确对生成内容的限制，在不妨碍人工智能创新的情况下确保安全，具体可以如制定事后干预机制，对于生成合成的危险信息及时删除。
三是积极发展人工智能安全技术。人工智能作为一项颠覆性的技术，确保其在安全的轨道上运行，需要法律与技术的协同治理。目前，OpenAI前首席科学家Ilya Sutskever联合创立了Safe Superintelligence，致力于开发安全的人工智能模型，专注人工智能安全技术的研究。我国也应当积极推动人工智能安全技术的发展，具体如加大在人工智能可信、可解释、评估与测试等方面的投入力度，优化大语言模型，提升人工智能系统的可靠性，降低人工智能安全风险。
四是加强国际合作，树立负责任的大国形象。人工智能风险作为全球性的风险，其治理需要各个国家共同努力。联合国可继续就人工智能可持续发展提出倡议，促进国际合作以及相关国际条约的签署，并推动建立专门的人工智能安全监管机构。我国应当积极树立负责任的大国形象，为人工智能治理提供中国方案。如推动构建人工智能科技伦理治理体系；引导国际人工智能安全标准与使用规则的制定；推动各国的交流合作以及资源共享等，确保人工智能在安全的轨道上发展。
作者：连世红，北京航空航天大学法学院博士研究生；翟志勇，北京航空航天大学法学院教授、博士生导师，社会法研究中心主任，中国科协—北航科技组织与公共政策研究院副院长
