文/王彩玉 梁立增

　　技术天然具有两面性特征，类ChatGPT生成式人工智能在给人们带来便利和美好憧憬的同时，也蕴含着犯罪风险。帕加洛在《法律与人工智能高级导论》中指出，“人工智能可能具有特定形式的犯罪人格，考虑到人工智能的灵活性，可塑造机器人和人工智能系统，以从事输入、输出和逻辑操作的连接为特征的活动……人工智能犯罪新场景的唯一限制是人类的想象力”。智能时代呼吁治理观念与治理技术革新，人工智能技术发展不可一味追求进步，同时要在背后注入伦理和责任要素，加强全生命周期安全治理，保障公共安全与个体权益。新加坡从构建安全可信的人工智能生态视角出发，统合众治、德治、法治与技治综合应对。
　　
　　一、生成式人工智能犯罪风险评估

　　新加坡在《国家人工智能战略》中提出，其目标是“站在可扩展、有影响力的人工智能解决方案开发和部署的前沿”，巩固新加坡作为“开发、测试、部署和扩展人工智能解决方案的全球中心”的地位。调查显示，目前近40%新加坡人已在日常工作中使用生成式人工智能。新加坡网络安全局基于“准备－参与－持续－影响”网络威胁框架，对以 ChatGPT为代表的生成式人工智能技术引致的犯罪风险进行分类分级。在评估框架中：①犯罪准备指向侦测、部署两阶段，如选择潜在受害者、实施社会工程、感染或建立恶意网站等；②犯罪参与指向传送、渗透两阶段，旨在接触目标、进攻突防；③犯罪持续强调横向移动与长期驻留；④犯罪影响涵盖加密破解、数据修改、服务中断、物理影响等多方面。
　　（一）犯罪学习辅助
　　ChatGPT是每个人绝佳的学习辅助工具——包括网络犯罪新手和有抱负的黑客。虽然用户无法直接指示ChatGPT发起攻击或实施扫描，但只要用户能够清楚表达需求，ChatGPT就可为特定活动提供合适的工具建议，这意味着ChatGPT可协助实施大量恶意网络活动。例如，即使没有计算机专业背景的人员也可快速学习如何使用渗透工具进行端口扫描、漏洞筛选，ChatGPT还可帮助制定未经授权入侵系统的方案。此外，研究人员已证明ChatGPT可提供清晰简洁的指令操作进行工业流设备操作与控制，通过黑客远程“投毒”，造成生产线关闭甚至是断网断电。
　　（二）网络钓鱼输出
　　ChatGPT是一位出色的“文学作家”，可用于编写令人信服的网络钓鱼信息。由于模型在训练时采用大量报告与文本，ChatGPT可输出具有一定精准度、模仿特定组织和个人语言表达方式的内容。虽然ChatGPT安全防护机制可识别恶意请求，网络犯罪分子无法直接命令其发送钓鱼邮件，但仍可让其协助准备社会工程计划相关的邮件与方案。
　　“如此安全”（SoSafe）团队研究发现，ChatGPT等生成式人工智能工具可将钓鱼邮件制作效率提升40%，且精心定制编写的邮件难以被技术监测过滤或被人为识破。在评估近1500次模拟网络钓鱼攻击后，团队发现78%调查对象点击了人工智能编写的邮件，20%点击了邮件中的欺诈性链接等恶意元素。
　　（三）恶意代码生成
　　ChatGPT可为不同类型恶意网络活动编写代码。有网络安全企业监测发现，ChatGPT制作的代码程序在暗网上引发热潮，可生成能将敏感数据复制到远程位置的数据窃取程序、用于勒索攻击的漏洞扫描脚本和加密程序等，甚至协助网络犯罪分子在受感染系统中改变数字位置或身份，提升获取系统访问权限的持久性。此外，经研究验证发现，ChatGPT可用于程序代码变形，若被整合到恶意软件中，可使传统安全机制更难检测到变形的恶意软件。
　　（四）代码审查提速
　　ChatGPT具备代码审查能力，既能快速分析代码中的潜在错误，又能提出关于如何优化或利用的建议。基于此，网络犯罪分子在借助ChatGPT检测被攻击系统的特定弱点、明确下一步攻击方向的同时，也可对恶意软件进行审查优化、故障排除，不再需要冒着被举报的风险在暗网论坛寻求帮助。
　　（五）总结
　　新加坡网络安全局表示，尽管分析只是触及ChatGPT真实能力的表面，但仍可得出结论——ChatGPT的主要优势是为每个人提供了生产力工具和分析工具，包括网络犯罪分子。ChatGPT不仅可用于教育提升，还可完成网络威胁框架内一系列恶意活动，帮助犯罪新手克服技术门槛、为有经验的黑客提供建议与帮助，换言之，ChatGPT是加速恶意网络活动、缩短网络攻击窗口的重要工具。
　　《新加坡网络全景报告》指出，ChatGPT等生成式人工智能技术因能增强网络攻击、诈骗等犯罪活动的“生产力”，正在成为对网络犯罪分子有强吸引力的滥用目标。
　　生成式人工智能对网络安全主要带来三方面影响，即人类脆弱性增加、网络基础设施脆弱性提升以及数字应用扩张。在沙特举行的国际网络安全论坛上，全球最大石油公司沙特阿美公司负责人表示，生成式人工智能等新技术引入增大能源行业面临的网络攻击威胁、导致能源供应大规模中断，在全面引入生成式人工智能技术前，有必要对潜在威胁和安全漏洞进行深入分析。在2023年欧洲黑帽大会上，“虚拟绑架”攻击新趋势引发关注，被称为迄今为止最可怕的人工智能恶意应用，网络犯罪分子将网络入侵、从社交媒体或暗网搜集的情报以及生成式人工智能语音克隆软件结合起来，制造目标被绑架的伪造证据，迫使亲属支付赎金。
　　2023年11月，全球首份人工智能国际性声明《布莱切利宣言》强调：“我们尤须关注前沿的人工智能系统所带来的安全风险，即那些能够执行各种任务的高能力通用人工智能模型，包括基础模型，以及可能表现出与当今最先进模型相匹配或超过现有能力的相关特定狭窄定义的人工智能。重大风险可能来自潜在的故意滥用，或与按照人类意图行事相关的控制问题。造成此类问题的部分原因是人类尚未完全理解人工智能的这些能力，因此难以预测。我们尤其关注网络安全和生物技术等领域的此类风险，以及前沿人工智能系统可能放大虚假信息等风险的领域。无论是否有意，这些人工智能模型所具备最重要的能力可能导致严重甚至灾难性后果。鉴于人工智能发展迅速且充满未知数，技术投资不断加速，我们申明，加深对这些潜在风险的理解，以及加深对应对这些风险的行动的理解，尤为紧迫。”
　　
　　二、生成式人工智能犯罪应对的现实困境

　　一方面，在生成式人工智能犯罪语境下，如果治理只着眼于技术被滥用后的侵害结果而抛开技术滥用本身不谈，那么，其既未实现《新加坡网络安全战略》中提出的保护企业和公民在线安全、提高数字生态系统韧性的目的，也违背了充分评价的执法司法原则。
　　从实践走向技术哲学层面，涉及对“技术异化”与“技术中立”的反思。德国哲学家马尔库塞在1964年出版的专著《工业社会的单一维度》中提出“科技异化”理论，尽管科技发展为社会带来巨大的生产力和效率提升，但在现代社会中，这些技术往往被反过来用于支配人类。换言之，科技不再是为满足人的需求，而是成为一种“反我”力量，控制和束缚个体。在此理论框架下，犯罪分子利用类ChatGPT生成式人工智能等最新科技成果实施犯罪活动正是科技异化的生动体现——犯罪分子将ChatGPT作为一种强化对他人控制和侵犯的手段和力量，使犯罪活动更具隐匿性、破坏力，不仅不为人类谋福祉，还造成技术对人类的反噬。而美国哲学家兰登·温纳在具有国际影响力的《技术有政治性吗？》一文中提出“技术中立”理论，技术本身是中性的，技术的影响取决于社会的使用和设计选择。基于此，生成式人工智能犯罪问题是“科技之发达与人性之复杂相结合的产物”。这不禁使人反思，如何恰当地进行生成式人工智能安全治理，更好地防范后续犯罪行为及危害结果发生。
　　另一方面，生成式人工智能犯罪在形态上的进化拓展了犯罪的危害性，在手段上的进化强化了犯罪的隐蔽性、掩藏源头犯罪行为，这也决定了生成式人工智能犯罪治理需要采取有别于传统犯罪治理的新思路、新方法，以免陷入犯罪越打越多、打而不绝的窠臼。
　　网络犯罪的演化与社会信息化、数字化、智能化同步，各类网络犯罪分子利用ChatGPT等生成式人工智能工具进行犯罪学习辅助、网络钓鱼、代码生成与优化等活动，汇聚更多资源实现扩张，形成相互勾连、互生互利的网络犯罪生态，建成以核心犯罪为中心的违法犯罪聚合体。在此意义上，生成式人工智能应用构成了犯罪的基础设施，生成式人工智能犯罪行为多表现为预备或帮助性质行为，属于“外围”犯罪，具备微犯罪性、独立性，与网络攻击、诈骗等黑灰产业交叉、融合、共生，构成犯罪“合流”（Crime Convergence）。新加坡社会及家庭发展部国务部长指出，打击诈骗等网络犯罪是一项集体努力，犯罪发生后，仅仅下游执法是永远不够的；生态系统中的所有主体，包括行业企业、网络平台、金融机构等利益相关者都要发挥各自作用防范上游犯罪；需要留意人工智能、深度伪造等技术，政府机构、研究机构、技术前沿市场参与者加强合作，持续监测相关犯罪风险并研究应对方案。

　　三、生成式人工智能犯罪治理的理念与路径

　　生成式人工智能犯罪问题的复杂性决定了其防治手段的复合性。新加坡在网络安全领域一向主张“预防常胜于治疗”的理念，《新加坡人工智能治理方法》则从生态视角（An Ecosystem Approach）出发，明确目标是构建一个安全可信的人工智能生态。在生态学中，生态系统是由要素及其要素间能量流动、物质循环、信息传递所构成的一个相对稳定的、自维持的整体，并不是各要素的简单叠加，而是在各要素相互联系与相互作用的基础上形成的具有整体功能和稳定性的复杂系统。生态治理则涵盖多元主体共同行使治理权力、共同承担相应责任的过程，注重通过协调多元主体的行动，平衡社会、环境和经济利益，实现可持续发展的目标。新加坡要求政府、业界、公众等多元主体同向而行、共同发力，统合众治、德治、法治与技治综合应对，以生态治理应对人工智能犯罪生态化。
　　（一）“众治”为人工智能安全生态提供多元力量
　　构建生成式人工智能安全生态需要多元主体加入，不同主体地位、作用各不相同。根据《新加坡网络安全战略》指引，政府提升对私营部门的监管激励，提升技术安全与韧性，确保公民和企业得到有效保护；在硬性监管之外，政府还与私营部门中可信任的合作伙伴共同探索新的协作模式，利用其专业知识和技能，高效开发针对性安全解决方案或开展专项安全项目，确保新加坡政府走在生成式人工智能等技术的最前沿，不断适应新的行业发展情况，并及早识别潜在安全风险。值得关注的是，新加坡警察自2017年起成立公私部门网络犯罪利益相关者联盟（APPACT），涵盖社交媒体公司、金融机构、互联网服务提供商、电信运营商、网络安全公司和加密货币企业等各行各业的合作伙伴。新加坡警察定期与联盟合作伙伴进行沟通和讨论，获取网络违法犯罪线索和最新发展趋势咨询，共同研究制定新型网络犯罪治理对策。
　　认识到生成式人工智能技术带来的诸多安全风险是国际性的，新加坡积极参与人工智能安全治理国际合作，与美国国家标准与技术研究院共同推进人工智能安全标准制定，与以色列、韩国和英国等签署关于人工智能技术发展与安全合作的谅解备忘录。在首届全球人工智能安全峰会上，新加坡作为与会国签署《布莱切利宣言》，总理李显龙介绍了新加坡基于风险的人工智能治理理念，强调多方利益相关者参与人工智能安全对话和合作的重要性。
　　根据《新加坡网络安全战略》指引，行业企业在公平合理范围内承担促进技术、产品和服务安全韧性发展的责任，一是优化开发方法，遵循安全设计原则，力求在获取业务利润与确保消费者和数字生态系统的安全性之间取得平衡；二是提升企业基础设施网络安全水平，有效应对网络攻击，防止用户数据被盗和丢失；三是加强上游管控，强化信息内容治理、禁止虚假广告，保护用户免受虚假、诈骗信息侵害等。聚焦于生成式人工智能技术领域，前沿技术开发者如何定义风险阈值、进行有效的模型风险评估、对具体风险缓解措施提出预先承诺、健全治理和问责机制等均是国际社会关注的热点问题。 
　　个人可通过选择安全可信的生成式人工智能产品和服务、学习保护自己和社区免受数字威胁的安全技能等举措，为降低人工智能生态风险发挥作用。新加坡将人工智能、网络安全纳入社会安全教育体系，进一步推动新型网络犯罪治理融入社会治理体系。2017年以来，新加坡持续推进“人工智能新加坡”（AI Singapore）项目，重点提升全民人工智能素养，将新加坡发展定位为“智慧国”（Smart Nation）。2021年，新加坡网络安全局启动“宁愿多一点网络安全，也勿后悔”（Better Cyber Safe than Sorry）活动，鼓励公众形成良好的网络安全习惯。
　　（二）“德治”为人工智能安全生态提供向善指引
　　德治是适用范围最广泛的社会行为调节机制，新加坡对人工智能安全治理与监管采取“温和干预”的思路，尤其是关注人工智能系统设计和建造背后人的主体的价值取向、伦理抉择、行为规范，倡导“智能向善”。自2018年以来，新加坡政府一直致力于人工智能伦理治理探索，采用“框架+指南+案例”的一整套方案，系统、深入地指导各类企业、组织开展人工智能安全治理，以负责任的方式开发部署人工智能。
　　2018年，新加坡成立人工智能和数据道德使用咨询委员会，旨在就企业、组织使用生成式人工智能等数据驱动技术所引发的伦理、政策和治理问题向政府提供意见，并支持政府向企业提供通用指引，以尽量减少相关伦理、治理和可持续发展风险。
　　2019年，新加坡推出亚洲首部《人工智能治理模型框架》，并于2020年实时更新。框架将人工智能定义为“模拟人类特征的技术丛”，如理解、推理、解决问题，进行感知、学习和计划，根据模型输出内容或决策。本质上，框架以两个基本原则为指导，促进对人工智能的信任和理解，一是确保人工智能决策过程是可解释、透明、公平的，二是人工智能解决方案应当“以人为本”，保护人类福祉和安全是设计、开发和使用人工智能的首要考量。从原则到实践，框架建议企业、组织采取以下措施：①将人工智能安全治理融入内部治理体系，明确安全责任人，健全风险管控机制，强化安全意识培训；②明确人类参与人工智能增强决策的程度，努力将人工智能自动化决策可能导致的风险降至最低；③获取更加多样化、更具代表性的数据集，优化算法减少模型中的偏差，采取基于风险的管控思路，强化算法可解释性、稳定性并定期动态调整；④强化与用户等利益相关者的互动沟通。
　　同期，新加坡发布与框架配套的《组织实施和自我评估指南》，指导各类企业、组织开发部署符合伦理的人工智能，要点包括：①有明确的开发、部署目的，例如，提高运营效率、降低成本；②以负责任的方式进行成本收益评估，人工智能使用应符合社会期望与核心价值观；③建立健全内部治理体系，构建人工智能系统使用监督机制，将高层管理人员纳入监督机制，监督人员应当具备相应的专业知识与技能，明确监督人员职责权限，形成科学有效的职责分工和制衡机制；④构建人工智能决策人工监督机制，在使用人工智能进行决策前应当完成人工智能决策影响评估，根据评估结果部署安排适当的人工监督，定期审查并及时降低人工智能系统的决策风险；⑤负责任使用人工智能系统，确保训练数据与处理数据的准确性、非歧视性以及可追溯性，准确描述并公开人工智能系统的使用方式及过程；⑥建立良性沟通反馈机制，明确人工智能决策将涉及、影响的内部和外部受众，明确告知受众关于人工智能系统的使用方式、决策影响以及决策是否可逆转等信息，也要定期评估人工智能系统治理结构以及决策结果，并就评估结果与相关受众及时沟通。此外，新加坡发布《人工智能治理案例汇编》，展示不同行业、不同规模组织根据框架开展治理实践的优秀典型。
　　新加坡尤其关注人工智能背景下的数据安全治理，《新加坡人工智能治理方法》强调通过稳定的数据架构，实现快速、安全的数据访问。2023年5月，为应对类ChatGPT生成式人工智能带来的数据安全风险，新加坡通信和信息部宣布将根据《个人数据保护法》发布《在人工智能系统中使用个人数据的咨询指南》，支持生成式人工智能技术负责任地开发和部署。
　　在国际层面，新加坡积极参与并推动《东盟人工智能治理与伦理指南》（ASEAN Guide on AI Governance and Ethics）的制定，重点关注人工智能负责任使用、虚假信息等人工智能犯罪风险防范化解等议题，指南预计将于2024年新加坡担任东盟数字协调主席国期间通过。
　　法律、伦理在本质上都是作用于具有可能性的行为，但法律多是事后救济，伦理更注重在事前对行为进行价值引导和规范，指导人们在面临复杂情境时作出正确抉择。对新加坡而言，人工智能“伦理先行”的意义在于人工智能技术、行业发展具有不可预知性，而伦理治理更具敏捷性、灵活性和创新性，不论框架还是指南，都可随着技术和社会发展及时更新。
　　（三）“法治”为人工智能安全生态提供制度保障
　　新加坡律政部长尚穆根强调，人工智能等技术发展对网络安全带来深远影响，应探讨强化法律机制，保护受害者利益。近年来，新加坡网络犯罪立法积极回应现实需求，对智能化犯罪形势主动作出调整，呈现出回应性扩张、预防性前置等趋势，契合智能社会发展方向。
　　针对生成式人工智能引致的信息安全风险，2019年10月起施行的《防止网络虚假信息和网络操纵法》即可适用于生成式人工智能深度伪造的音视频，规定政府有权要求个人或平台更正、撤下对公共利益造成负面影响的虚假信息，不遵守指示的平台面临100万新元以下罚款，恶意传播虚假信息的个人面临10年以下监禁。此外，该法第8条规定了针对“制作或改造用于传播虚假信息的机器人”的罚则，无论是在新加坡境内还是境外，个人都不得出于在新加坡传播虚假信息、使他人能通过机器人在新加坡传播虚假信息目的而制造、改造机器人，任何人违反即属犯罪，一经定罪，对个人处3万新元以下罚款或3年以下监禁，或两罚并施；对单位处50万新元以下罚款；若虚假信息传播可能影响总统和议员选举、公民投票结果，削弱公众对政府、国家机关信任，煽动不同群体之间敌意、仇恨，损害新加坡或新加坡任何地区安全的，对个人处6万新元以下罚款或6年以下监禁，或两罚并施；对单位处100万新元以下罚款。
　　一个核心问题是，有效治理生成式人工智能被用于犯罪的关键并不是从法律上否定生成式人工智能技术的合法性，而是顺应生成式人工智能被用于犯罪的进化趋势，转变犯罪治理逻辑，在规制流程上，从下游犯罪穿透至源头规制。
　　2023年2月起施行的《在线安全（杂项修正案）法》可适用于生成式人工智能生成的有害内容，规定社交媒体服务平台应遵循《在线安全行为准则》，建立专门系统和程序，减少新加坡用户接触鼓吹自杀、恐怖主义、儿童性剥削等有害内容的风险。2023年7月，新加坡议会三读通过《网络刑事危害法案》，规定若主管当局确信网络服务是或极有可能是用于实施、协助网络犯罪活动，且新加坡人可使用该服务进行网络活动，则主管当局可将该服务认定为“与网络犯罪相关的网络服务”；同时，主管当局可对该网络服务提供者发布行为守则，提供者必须采取所有合理可行措施遵守守则；若主管当局审查后认为提供者没有遵守守则要求，则可向提供者发出通知，要求其在规定时间内整改。《网络刑事危害法案》并不是新加坡立法者对新型网络犯罪活动简单的应激性反应，而是进行了体系性和统一性的整体顶层设计，以阻断网络犯罪生态为目标，充分发挥网络服务提供者在网络生态治理中的主观能动作用，引导网络服务提供者参与预防、共治新型网络犯罪；若正式通过，未来有望适用于生成式人工智能服务。在更深层面，新加坡已然意识到网络服务提供者在提供网络服务过程中汇聚资源、掌控渠道所带来的超强影响力，按照权责一致原则，理应成为犯罪防治的一员。（四）“技治”为人工智能安全生态提供工具支撑
　　生成式人工智能技术的不断进步为网络犯罪活动提供了新的媒介和工具，政府也加强前瞻布局，发展人工智能安全治理技术、应用，并探索利用人工智能技术防范人工智能犯罪风险，夯实人工智能安全生态的技术根基。
　　在合规评估层面，新加坡通信和信息部发布全球首个人工智能治理软件工具包“人工智能验证”（AI Verify），可根据透明度、可解释性、可重复性、安全性、稳健性、公平性、问责制、包容性增长、社会和环境福祉等原则，通过标准化测试对人工智能模型进行技术性能测试并记录相关流程以备检查。人工智能验证于2022年5月发布国际试点，吸引了戴尔、IBM等50多家本地和跨国公司的兴趣。当前，人工智能验证并非强制适用，而是自愿性质，旨在提高公众对人工智能产品的信任度、接受度，有助于安全可信的人工智能技术推广。
　　在防范反制层面，新加坡网络安全局建议企业、组织采用加密、防火墙等技术，定期进行安全评估，实施人工智能驱动的安全解决方案，如基于人工智能技术的网络安全威胁监测和响应系统，防范生成式人工智能带来的网络安全威胁。新加坡警察局副警察总监（调查及情报）兼刑事侦查局局长侯光辉表示，ChatGPT是一个相对较新的发展，警方正在监控相关发展情况并进行技术研究，加强人工智能诈骗监测、阻断与提醒能力。
　　从实践到理论，布朗斯沃德提出“法律3.0”理论，代码、人工智能等技术不再只是法律规制的对象，而是成为支持、补充法律规则的治理工具，在此层面，人工智能监测阻断系统等应用本质上是“以算法来规制算法”，通过“限制行为的可能性去解决问题”；同时，要以法治标尺衡量治理技术，将代码、人工智能等构建的非规范性秩序纳入法治约束的范畴。

　　四、结语

　　深刻认识、分析生成式人工智能可能引致的犯罪风险，并在此基础上研究治理理念和路径，是在当前深刻复杂时代背景下的回应与担当，更是探索与拥抱未来世界的勇气与信心。新加坡旨在构建一个安全可信的人工智能生态，在创新和最小化社会风险之间取得平衡，体现了系统观念、体系构建——在治理主体方面，人工智能生态系统中的所有主体，包括政府、行业企业、公民等利益相关者均要发挥各自作用参与安全治理；在治理手段方面，营造立体化的规制环境，规制环境中不仅要包括法律、伦理等规范性工具，也要包括一系列作为非规范性工具的安全技术措施，刚柔并济、软法与硬法相结合，事前、事中、事后相互衔接；在治理评价方面，除考量规则是否得到执行以外，更要考量安全治理的社会和经济效益。■
　　
　　（基金支持：公安部第三研究所2023年度基本科研业务费专项青年基金项目C23252的阶段性研究成果）
　　【作者简介】王彩玉，公安部第三研究所网络安全法律工程师，主要研究网络安全、网络犯罪防治立法；梁立增，中国人民公安大学信息网络安全学院警务硕士、山东省济南市公安局网络安全保卫支队民警，研究方向为网络安全管理、网络安全法制建设。
　　（责任编辑：冯苗苗）