观众在 2025 年(nian)苏州市“人工智能(neng) +”创新发展推进大会上观看机器狗(gou)表演（2025年(nian)2月14日摄） 李博摄 / 本刊

人工智能(neng)安全风险(xian)逐渐显露

随着生成式人工智能(neng)和大模型技术(shu)的广泛应用，人们开始(shi)发现，在网络上，“眼见也不一(yi)定为实”。

陕西警方2024年(nian)2月通报一(yi)起(qi)案件，某公司财(cai)务人员接到经理的视频(pin)通话(hua)，要求她转账186万元到一(yi)个指定账户。因为视频(pin)通话(hua)中对方的声音、长相(xiang)和言谈举止(zhi)都与经理一(yi)样，财(cai)务人员迅速完成转账。事后当上级领导询问这笔资(zi)金的去向(xiang)时才发现被骗。本案中犯(fan)罪分子实施诈骗就是应用人工智能(neng)技术(shu)实现了声音和视频(pin)画面的深度(du)伪造。

“十几分钟音频(pin)加上几张照片就可以‘换脸’并模仿这个声音，现实中一(yi)个普通高中生就可以做(zuo)到。”黑龙江大学计算机与大数据学院(yuan)（网络安全学院(yuan)）院(yuan)长王磊说。

“借(jie)助(zhu)‘AI换脸’‘AI拟声’技术(shu)实施诈骗，犯(fan)罪成本越来越低，侦破(po)难度(du)越来越大。”北京金诚同(tong)达律师(shi)事务所(suo)高级合伙人马林艳表示，技术(shu)被滥用是电(dian)信诈骗的“最后一(yi)环”，用户的个人数据和隐私信息泄露则是前置条件。

2024年(nian)6月，公安部披(pi)露了多(duo)起(qi)涉及人工智能(neng)技术(shu)的深度(du)伪造典型案例。其中一(yi)起(qi)案件中，犯(fan)罪嫌疑人利(li)用人工智能(neng)技术(shu)对被害人照片进行(xing)“一(yi)键去衣”处理，批(pi)量(liang)生成了近7000张淫秽图片并通过网络贩卖，严重侵害了他人的隐私权、名誉权等合法权益。

“在一(yi)些西方国家(jia)的选举中，通过深度(du)伪造，制作出虚假的候选人宣传视频(pin)，这些内(nei)容可能(neng)被用来抹(mo)黑竞争对手或美化特定候选人，从(cong)而影响(xiang)选民的判(pan)断和投票决(jue)策，破(po)坏大选的公正；在战(zhan)争中，极端势力基于(yu)传统游戏视频(pin)，简单加工后伪造成逼真的战(zhan)争视频(pin)，制造民众恐慌甚至加剧国际关系紧张。”王磊说，深度(du)伪造涉政(zheng)风险(xian)往往更加突出，它可能(neng)伴随政(zheng)治操纵(zong)风险(xian)、社会动(dong)荡风险(xian)、意识形态风险(xian)等危害国家(jia)安全。

国家(jia)工业信息安全发展研究中心党委副书记吴铁男表示，当前人工智能(neng)算法训练和使用过程中存在“算法黑箱”、不可解释(shi)等内(nei)生问题(ti)，以及过度(du)使用、恶意应用，隐私泄露、数据滥用、“数据投毒”等问题(ti)。

“在人工智能(neng)风险(xian)管理体(ti)系中，自身风险(xian)和衍生风险(xian)都值得(de)关注。其中，自身风险(xian)出自人工智能(neng)技术(shu)系统本身，包(bao)括数据、框架(jia)、模型、芯片、算力、网络应用服务等风险(xian)，而衍生风险(xian)则应该放在个人、组织、社会、国家(jia)乃至全人类的视域下(xia)去讨论。”中国信息通信研究院(yuan)人工智能(neng)研究所(suo)高级业务主(zhu)管呼娜英说，相(xiang)较(jiao)于(yu)自身风险(xian)可以通过技术(shu)标准提升加以防范，衍生风险(xian)的出现更要求法治跟进。

北京大学法学院(yuan)教授、北京大学武汉人工智能(neng)研究院(yuan)副院(yuan)长张平认(ren)为，明确技术(shu)“原则”，通过立(li)法形成一(yi)套(tao)人工智能(neng)技术(shu)标准和评估体(ti)系来加以规(gui)范，是保障人工智能(neng)健康发展的重要“防火墙”。

多(duo)项(xiang)法律存在空白

人工智能(neng)作品能(neng)否受到知识产权保护？

“根据我国现行(xing)的《中华人民共和国著作权法》，人工智能(neng)的主(zhu)体(ti)性正在知识产权界引发广泛争议。”上海理工大学出版学院(yuan)讲师(shi)李想表示，多(duo)数观点认(ren)为生成式人工智能(neng)不能(neng)满足《中华人民共和国著作权法》中的作者资(zi)格(ge)，其内(nei)容生成过程只是计算而非创作，应以创作工具视之(zhi)。

而随着技术(shu)快速发展，一(yi)些人工智能(neng)生成物似已实现了从(cong)“复制”到“创造”的跨越，生成式人工智能(neng)的著作权侵权风险(xian)与制度(du)应对面临(lin)“立(li)法空白”。

2023年(nian)，北京互联网法院(yuan)针对人工智能(neng)生成图片作品著作权侵权纠纷作出一(yi)审判(pan)决(jue)，认(ren)定原告使用开源软件Stable Diffusion通过输入提示词方式生成的图片作品体(ti)现了原告的智力投入，具备(bei)“智力成果”要件和“独创性”要件，应当认(ren)定为作品，受《中华人民共和国著作权法》保护。

上述(shu)案件庭审曾在多(duo)个平台(tai)直播(bo)，吸引了17万网友观看，引发较(jiao)大关注。原告在庭审最后表示，自己的目的并不是为了赔偿，而是希望法院(yuan)通过这个案件，能(neng)够对AI绘画作品的著作权问题(ti)给(gei)出明确的裁量(liang)和认(ren)定标准，方便所(suo)有创作者参考。

“在人机融合的状态下(xia)，司法实践(jian)有必要进行(xing)明确区分，到底(di)哪些是人创造出的内(nei)容，哪些是机器创造出的内(nei)容。”华东政(zheng)法大学知识产权学院(yuan)副院(yuan)长于(yu)波称，人工智能(neng)生成物出现后，现有创作模式产生颠覆性变化，给(gei)知识产权法律保护带来前所(suo)未有的挑战(zhan)。

随着人工智能(neng)在千行(xing)百业应用场景拓宽，一(yi)旦发生法律纠纷，侵权主(zhu)体(ti)的责任认(ren)定就成了摆(bai)在法学界面前的突出难题(ti)。

以无人驾驶为例，在自动(dong)驾驶模式下(xia)，一(yi)旦发生交通事故，责任可能(neng)同(tong)时涉及车辆制造商、软件系统开发设计者、车主(zhu)等多(duo)个主(zhu)体(ti)，责任追究和分配变得(de)非常复杂。

“我国现有法规(gui)主(zhu)要针对传统机动(dong)车交通事故侵权责任的解决(jue)办法，缺少对自动(dong)驾驶汽车驾驶主(zhu)体(ti)的界定、数据采集等相(xiang)关细则，也缺少对责任主(zhu)体(ti)、责任承担、数据保护的法律规(gui)定。”同(tong)济大学法学院(yuan)副教授张韬略称，特别是紧急情况下(xia)，机器拥有进入“安全状态”的“自主(zhu)权”，由此造成的事故如何进行(xing)责任认(ren)定，需要在立(li)法和司法实践(jian)中加以解决(jue)。

由于(yu)训练数据不均衡、算法设计缺陷等因素，人工智能(neng)容易出现偏见。在求职招聘、信贷审批(pi)、司法裁判(pan)等领域，可能(neng)因算法对特定群体(ti)特征的不当学习(xi)而产生歧视性决(jue)策，加剧社会不公平，损害部分弱势群体(ti)的权益。

西安交通大学法学院(yuan)教授焦(jiao)和平表示，在求职招聘、信贷审批(pi)、司法裁判(pan)等过程中，平台(tai)自身拥有一(yi)定的“裁判(pan)权”。人工智能(neng)技术(shu)的应用，使得(de)这一(yi)流程全部算法化，由此造成的法律纠纷，需要法律进一(yi)步(bu)明确。

人工智能(neng)在司法实践(jian)中的应用也成为法学界关注的焦(jiao)点。吉林大学法学院(yuan)教授谢登科认(ren)为，人工智能(neng)证据的认(ren)定存在一(yi)定实践(jian)困境。当前，传统电(dian)子数据分类方法可能(neng)不完全适用于(yu)人工智能(neng)证据，因为人工智能(neng)证据在形成过程中体(ti)现了机器深度(du)学习(xi)的经验，其真实性需要结合具体(ti)应用场景进行(xing)审查认(ren)定。

中国科学院(yuan)大学公共政(zheng)策与管理学院(yuan)副教授、中国科学技术(shu)法学会人工智能(neng)专业委员会执(zhi)行(xing)主(zhu)任刘(liu)朝(chao)表示，当前需进一(yi)步(bu)总结人工智能(neng)的技术(shu)特性、运行(xing)规(gui)律，科学把握人工智能(neng)治理的发展逻辑，以此为基础(chu)建立(li)一(yi)套(tao)行(xing)之(zhi)有效的法律制度(du)体(ti)系，妥善规(gui)范人工智能(neng)技术(shu)可能(neng)带来的风险(xian)挑战(zhan)。

参观者在上海举办的2024世界设计之(zhi)都大会上体(ti)验虚拟现实眼镜（2024年(nian)9月27日） 陈浩明摄 / 本刊

如何对人工智能(neng)前瞻性立(li)法

拥抱人工智能(neng)时代，如何做(zuo)到有法可依？

武汉大学法学院(yuan)教授孙晋认(ren)为，数字化转型催生新业态带来政(zheng)府监管挑战(zhan)，很难再沿用工业时代的管理思维予以应对，社会结构、制度(du)框架(jia)、法律体(ti)系都需随着数字化转型变革而持续互动(dong)演进。

从(cong)2022年(nian)美国发布(bu)《人工智能(neng)权利(li)法案》蓝图，到2024年(nian)欧盟(meng)通过《人工智能(neng)法案》，人工智能(neng)相(xiang)关问题(ti)在全球范围内(nei)越来越得(de)到立(li)法部门的广泛重视，欧美一(yi)些国家(jia)先后出台(tai)相(xiang)应法律。

南通大学法学院(yuan)副院(yuan)长王晓燕说，我国近年(nian)来逐步(bu)出台(tai)了有关算法备(bei)案、大模型备(bei)案和伦理审查登记等领域的指导意见，但技术(shu)发展之(zhi)快已超出现有法律制度(du)的规(gui)范，在加强技术(shu)检(jian)测、强化行(xing)业自律的同(tong)时，应考虑人工智能(neng)前瞻性立(li)法。

中国科学院(yuan)大学公共政(zheng)策与管理学院(yuan)教授、科技与法律研究中心主(zhu)任方新表示，我国近年(nian)来已经出台(tai)了多(duo)部关于(yu)人工智能(neng)和网络数据方面的政(zheng)策法规(gui)和指导意见，但人工智能(neng)发展迅猛，对一(yi)些新的法律问题(ti)仍未达成共识，人工智能(neng)相(xiang)关法律法规(gui)散见于(yu)各部门法中，尚(shang)未形成系统完备(bei)的人工智能(neng)立(li)法。

深度(du)求索公司的DeepSeek爆火后，其服务状态页面曾挂(gua)出红色警报，其线上服务遭受持续的超大规(gui)模恶意攻击。此外，DeepSeek还(hai)遭到一(yi)些境外敌对势力的调查、禁用和网络攻击，其背后是对我国科技企业的技术(shu)打压、经济遏制和意识形态围攻。

“在国防、政(zheng)务、关键基础(chu)设施等领域，人工智能(neng)安全至关重要。立(li)法能(neng)够规(gui)范相(xiang)关技术(shu)研发、使用标准，防范外部势力利(li)用人工智能(neng)漏(lou)洞对国家(jia)主(zhu)权、安全造成威胁，更好守护国家(jia)核心利(li)益。”王磊说，对于(yu)人工智能(neng)立(li)法，应该放在总体(ti)国家(jia)安全观的视域下(xia)去审视。

中国法学会党组书记，全国人大常委会委员、全国人大宪(xian)法和法律委员会副主(zhu)任委员王洪祥(xiang)表示，当前，一(yi)些西方国家(jia)在人工智能(neng)技术(shu)领域筑起(qi)“小(xiao)院(yuan)高墙”，对我进行(xing)全方位的遏制打压。在此背景下(xia)，应积极进行(xing)科技领域的涉外法治斗争，积极参与科技法治领域的国际规(gui)则和标准制定，以法治建设支持和引导人工智能(neng)发展，构建在全球科技创新竞争中的制度(du)优势。

“随着科技创新成为国际战(zhan)略博弈的主(zhu)要战(zhan)场，与之(zhi)相(xiang)对应的制度(du)竞争也日益成为推动(dong)未来国际秩序演进的重要力量(liang)。”北京理工大学智能(neng)科技法律研究中心研究员张心宇(yu)称，我国如针对人工智能(neng)产业采取前瞻性的法律制度(du)设计，能(neng)够更好防控安全风险(xian)，促进技术(shu)创新，推动(dong)国际合作。

在张心宇(yu)看来，人工智能(neng)技术(shu)具有明显的跨国属性。加快推动(dong)人工智能(neng)规(gui)则制定，形成具有中国特色的治理理论和实践(jian)，也能(neng)为推动(dong)人工智能(neng)全球治理提供科学方案，贡献中国智慧，提升我国在全球人工智能(neng)治理中的话(hua)语权和影响(xiang)力。

随着人工智能(neng)技术(shu)的快速发展，技术(shu)治理需要与法律实践(jian)紧密结合，在防范潜(qian)在风险(xian)的同(tong)时，更应着眼于(yu)促进技术(shu)创新。北京航空航天大学法学院(yuan)副教授赵精武称，统一(yi)监管在任何法律的治理当中都只是起(qi)点，还(hai)应当关注不同(tong)科技创新主(zhu)体(ti)的制度(du)需求。

中国科学院(yuan)院(yuan)士房建成认(ren)为，加强科技法学研究和科技法治建设，更需要引进科学家(jia)为科技立(li)法工作开拓前沿视野。

“当前，有关人工智能(neng)相(xiang)关立(li)法，已经从(cong)谈原则的软法时代进入讲权利(li)义务实体(ti)规(gui)定的硬法时代。”清华大学法学院(yuan)教授、智能(neng)法治研究院(yuan)院(yuan)长申卫(wei)星坦言，在制定法律时应坚持安全和发展并重，二者之(zhi)间如何协调是立(li)法最大的难题(ti)之(zhi)一(yi)。张心宇(yu)也表示，加强人工智能(neng)法治保障必须以促进社会整(zheng)体(ti)利(li)益为导向(xiang)，避免法律规(gui)范不当挤压人工智能(neng)发展的空间。

孙晋建议，尽快推动(dong)制定一(yi)部能(neng)够覆盖数字经济核心产业的数字经济促进法，以此作为发展数字经济的基本法、上位法，统领反垄断监管和数字化治理实践(jian)，从(cong)而促进已有地方性法规(gui)、政(zheng)策之(zhi)间有效衔接，助(zhu)力数字经济行(xing)业可持续发展。■