AI重塑网络安全 2025趋势与前瞻-中国教育和科研计算机网CERNET

资讯

校园信息化

技术

资源与应用

产品与装备

信息服务

首页 > 教育信息化 > 技　　术 > 网络安全

AI重塑网络安全 2025趋势与前瞻

2025-09-30 中国教育网络

　　编者按

　　2025年，Security Week网站采访了数百位专家，探讨未来一年内网络安全领域重点方向的预期发展，包括人工智能、运营技术、首席信息官、量子和加密威胁、网络安全监管、网络威胁情报等。其中，“人工智能+网络安全”一文尤其值得研读。我们将分为两期刊登此文，本期刊登第一部分，探讨在人工智能重塑网络安全的当下，有哪些方面需要重点关注。

　　2022年ChatGPT进入了人们的视野，2023年所有人都在等待网络安全领域会发生什么，2024年显示出恶意使用AI的迹象，2025年见证恶意AI大幅增加，AI正在颠覆网络安全领域。

　　2022年11月，OpenAI向公众开放ChatGPT，AI进入了人们的视野。ChatGPT是一种名为“生成式预训练变换器”的机器学习技术，基于大语言模型运行，其核心在于用户可通过自然语言与AI互动，获得以自然语言形式呈现的输出结果。

　　输出结果的准确性取决于AI算法的质量，以及大语言模型使用的训练数据的深度和准确性。目前，大多数主流大语言模型从互联网上抓取海量数据进行训练。简单来说，你可以向大语言模型提出任何问题，并在几秒钟内获得基于互联网智慧的回答；你也可以要求它执行任意其算法能理解的任务。

　　一直以来人们都明白，网络对手一旦掌握了如何最好地利用这些新能力，就会立即加以利用。2023年是所有人都在等待的一年，看看会发生什么。2024年初步显示出恶意使用AI的迹象。2025年是见证恶意AI大幅增加的一年。

　　如今，可以肯定地说，AI正在颠覆网络安全领域。AI被攻击者用于攻击，也被防御者（主要通过增强的机器学习技术，结合大语言模型的自然语言处理能力）用于防御。本文将探讨AI领域值得重点关注的内容。

　　信任危机

　　“2025年要信任AI绝非易事，”AI治理公司Truyo总裁丹·克拉克评论道，“AI是概率性的，它本质上仍然容易受到偏见和错误的影响。”偏见一直是AI面临的问题。算法由人类开发，而人类始终受到自身无意识的成见影响。开发者试图通过使算法透明化并进行迭代来解决这一问题，但其自身也存在隐形偏见。

　　错误在被称为“幻觉”的现象中最为明显。如果生成式AI被问及一个问题，它必须给出答案。但受限于训练数据的质量，它可能无法给出答案，也可能不存在正确的答案。在第一种情况下，AI会编造一个答案；在第二种情况下，AI会以极大的权威性给出错误答案。

　　这是生成式AI在2025年面临的主要问题。“AI的不准确、无法区分幻想与现实的能力，以及旨在说服而非补充和学习的语气，意味着会有更多专业人士为了提高效率用AI生成报告、法律等文件，却没花时间（更糟糕的是，缺乏相关能力）来审查和修改其中的错误。这是技术乐观主义的典型案例，围绕这一话题的诉讼案件肯定会出现。”网络安全公司Praxis Security Labs的首席执行官兼创始人凯·罗尔表示。

　　多元伦理

　　AI伦理如今备受关注并被广泛倡导。然而，当今世界上的技术已形成一个单一的全球村，且是一个多元文化村。西方文化强调个人主义，允许个人通过资本主义体系积累巨额财富。许多东方文化却更注重团队而非个人。来自贫困地区和贫困家庭的科技人才看到不法商人通过不正当手段牟利，认为通过黑客手段做类似事情并无不妥。不同民族和地区有着不同的道德观。

　　在全球村中，无法制定出一套能让所有人满意的伦理价值观。“这就是问题的复杂之处。道德规范基于多种因素，文化、社会和个人价值观均发挥作用。AI应遵循谁的道德规范？这是一个持续的重大争议。我们可以从OpenAI开发模型的方式与埃隆·马斯克为Grok进行研究的方式中看到鲜明对比。”网络安全公司Securonix副总裁奥古斯托·巴罗斯警告道。

　　这并不意味着不必努力提升AI开发与应用背后的道德原则，但必须认识到，我们的原则可能与其他的原则存在差异。“追求完美道德的AI是不切实际的，相反，更具建设性的做法是确保AI安全、易于获取，而非过度监管。这就像制造一辆汽车：要使其安全可靠，而不是承诺永不出错。”软件公司RocketPhone首席执行官穆杰·乔杜里表示。

　　犯罪分子利用生成式AI

　　“到2025年底，可以合理推测，犯罪组织将开发出类似ChatGPT的生成式AI系统。”网络安全公司Acumen Cyer首席运营官凯文·罗伯逊警告称。“这些未受限制的AI模型可能从LinkedIn等平台抓取海量数据，从暗网列表中收集凭证。技术与恶意结合，可能使针对性极强的鱼叉式网络钓鱼攻击以史无前例的速度和规模增长。”

　　AppOmni人工智能总监梅丽莎·鲁齐认为，犯罪分子将利用现有的AI技术：“开发原创AI模型需要巨大的努力和极高的技能。相反，我预计犯罪分子将继续使用现有模型，特别是安全防护措施最弱的模型。”

　　恶意利用多模态生成式AI

　　最初以文本为基础的自然语言AI技术已迅速发展为多模态AI。如今，它也能够处理和生成语音、音乐、图像和视频。尽管有许多有益的应用，但最令人担忧的是生成深度伪造的内容，从而对网络安全构成威胁。

　　深度伪造技术并非新鲜事，它早于ChatGPT出现。如今，多模态生成式AI能够以更快的速度、更低的成本和更大的规模生成更优质的深度伪造内容。深度伪造技术被广泛认为是2025年最紧迫的挑战之一。但AI并非邪恶制造者，它只是让缺乏专业技能的操作者能够更轻松地制造出更精良的恶意内容。

　　“最令人担忧的应用场景，是在法律程序和法医鉴定中使用深度伪造技术，因为监控录像和其他证据将变得更容易被篡改。”网络安全公司Abnormal Security的首席信息官迈克·布里顿指出。

　　针对企业的攻击将越来越频繁。“我认为2025年将是首次出现针对《财富》500强企业成功实施深度伪造攻击的一年，而这仅仅是众多AI驱动的攻击的开端。无论规模大小，所有组织都面临风险，并需要为更频繁、更个性化的攻击，以及随之而来不可避免的财务损失付出代价。”网络安全公司Resilience公司首席数据与分析官安·艾尔维恩表示。

　　影子AI

　　“影子AI将比我们预期的更加普遍，也更加危险。”IBM安全产品管理副总裁阿基巴·萨伊迪表示。影子AI指的是员工在缺乏公司监督的情况下，部署和使用未经授权的AI模型。这一问题并非AI独有。员工一直试图通过新技术提升自身价值，且经常不等公司正式批准。影子AI始于2024年。“员工选择符合其需求的技术的速度远超企业反应速度。他们不惜采取极端措施提升生产力，绕过传统的安全措施。这种行为对生产率的提升影响如此显著，以至于员工公然绕过合规政策，甚至在公司最高安全级别下从事高风险行为。”AI治理公司SurePath AI首席产品官兰迪·伯德萨尔解释道。

　　HuggingFace提供的海量专业化模型使这一选择变得轻松且具有诱惑力，而影子AI的采用率将在2025年持续增长。“影子AI对数据安全构成重大风险，2025年成功应对这一问题的企业需要采用清晰的治理政策、全面的员工培训以及严格的监测与响应措施。”萨伊迪建议。

　　针对AI的攻击

　　AI响应的准确性完全依赖所使用的训练数据。如果恶意行为者能够篡改训练数据，将可能会影响AI模型的有效性，甚至操纵其响应以满足自身目的。这一过程通常被称为数据投毒。

　　“2025年，我们将看到威胁行为者操纵私人数据源。例如，可能通过污染大语言模型所使用的私人数据（如故意在电子邮件或文档中植入虚假或误导性信息）来混淆AI或使其执行有害操作。”网络安全公司Proofpoint公司首席AI与数据官丹尼尔·拉普警告称。

　　数据中毒现象将日益严重。“攻击者可能利用对海量开放数据集的依赖，通过微妙手段扭曲模型、植入后门（使大语言模型在特定输入触发时表现出恶意行为）、降低系统效能，或传播有害内容。这一现象在金融和医疗领域尤为突出，攻击者对金融或医疗数据集的污染可能导致错误预测，或因训练数据被篡改导致无法识别关键症状，引发误判。”Clark Hill律师事务所的保罗·施梅尔策预计。

　　来源：SecurityWeek

　　责编：陈茜

　　特别声明：本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者在两周内速来电或来函联系。