郑海山：如何构建可控、可信的智能体应用环境-中国教育和科研计算机网CERNET

资讯

校园信息化

技术

资源与应用

产品与装备

信息服务

首页 > 教育信息化 > 资　　讯 > 观　　点

郑海山：如何构建可控、可信的智能体应用环境

2026-06-02 中国教育网络

　　智能体带来的安全挑战是孤立的漏洞，还是一场系统性的范式冲击？本文从高校信息化演进的历史视角切入，构建了一个理解智能体安全风险的三层分析框架（系统、端侧、协同），并系统性地提出了覆盖管控机制、系统升级与组织保障的治理蓝图，为高校理解AI智能体时代的网络安全“智理”提供了第一张全景图。

　　AI驱动下高校信息化范式演进

　　在《生成式AI如何赋能高校信息化系统？》^[1]一文中，笔者曾探讨中低耦合与深度耦合两类应用模式，并提出“躬身入局”与“功成不必在我”的建设路径和机器人流程自动化（Robotic Process Automation，RPA）的相关内容。

　　而从技术演进角度看，高校信息化的自动化能力已由早期脚本，发展至工作流与规则触发（If This Then That，IFTTT），再到RPA与低代码平台，并在此基础上逐步融合人工智能能力，最终演进为具备自主规划与执行能力的智能体（Agent）。这一过程本质上体现为从“工具自动化”向“自主执行系统”的转变。

　　自动化能力的持续增强，客观上推动了系统能力边界的不断扩展，但也导致了安全边界的同步外移。能力越强，系统的不确定性越高，潜在攻击面也随之扩大。

　　从近一年的实践来看，多数信息化厂商仍以“躬身入局”为主要策略，通过快速嵌入AI能力实现系统升级。在高校具备算力资源的前提下，传统信息化系统可通过较低成本完成“AI+”改造。

　　然而，在这类改造完成的信息化系统里，部分厂商演示的AI安全防护尚停留在PPT阶段，部分方案难以经受深入的安全推敲。当前阶段，高校信息化系统中的AI应用仍以智能问答和有限推理为主，尚未全面进入由智能体主导的执行阶段。可以预见，未来的发展将更多体现为校级智能体平台对各类业务系统或智能体的统一调度与协同执行。

　　在这一背景下，高校信息化体系正从“人机交互系统”向“人机混合执行系统”转变，原有以系统和人为中心构建的安全模型正面临结构性挑战。

　　智能体在高校引入的三类安全风险

　　智能体的引入，使系统由“被动响应输入”转向“主动规划与执行”，安全问题扩展至行为链条与执行过程。围绕这一变化，可以从系统侧、端侧以及二者协同三个层面，对相关安全风险进行分析。

　　1.信息化系统侧的安全风险

　　从信息化系统自身来看，引入智能体后，系统攻击面呈现显著扩展趋势。人工智能不再仅是内容生成工具，而是逐步演变为能够调用接口、驱动流程执行的“操作主体”。在《生成式AI如何赋能高校信息化系统？》[1]一文提及的科研系统、财务系统、OA公文流转及各类办事系统中，一旦引入AI能力，系统就将面临一系列新型风险，包括模型投毒、提示词操纵、上下文污染、数据泄露、插件或Skill供应链风险，以及身份与权限滥用、信任边界模糊、算力滥用和审计困难等。

　　从工程视角分析，这些风险并非纯粹的新问题，反而能与传统安全威胁建立对应关系。例如，提示词操纵、上下文污染类似于存储型XSS攻击或会话劫持或数据污染问题，AI问数类应用在结构层面则接近SQL注入问题。尤为值得关注的是，多步骤自动执行所形成的行为组合风险，其本质更接近于权限滥用链，即一系列合法操作在自动化编排后形成跨权限、跨系统的调用路径，从而导致非预期的数据访问或信息外泄。这类风险不同于传统的单点漏洞，而是体现为“攻击链重构”的问题形态。

　　以AI问数为例，该类应用本质上提供了一个开放的自然语言输入接口。传统SQL注入通过参数化查询进行约束，即查询结构固定，用户仅能填入参数；而在AI问数模式下，查询结构本身亦可由模型动态生成，导致结构边界被弱化。即便后端数据库具备字段级权限控制，也可能通过推断与侧信道方式间接获取敏感信息。

　　在资源消耗层面，智能体的执行过程具有不确定性与难以缓存的特征，导致计算过程难以复用，带来显著的词元消耗与算力压力。这种模式与传统信息化系统通过优化提升资源利用率的逻辑形成了明显反差。

　　从系统工程角度看，引入安全能力往往意味着复杂度与成本的同步提升，可类比为高速摩托车与汽车的差异：前者结构轻量、速度快但防护能力有限，而后者通过车身结构强化、约束机制与安全装置实现“铁包人”的保护，其代价是更高的系统复杂度与建设成本。智能体系统亦类似，要从“轻量能力”走向“安全可控”，必然伴随着架构复杂性与投入成本的显著增加。

　　2.师生端侧智能体的安全风险

　　以OpenClaw为代表的个人智能体工具，显著提升了师生在学习、科研及日常事务处理中的效率，相关能力已在代码生成、论文润色、文献整理、实验流程自动化及信息处理等场景中得到广泛应用。

　　然而，与传统应用不同，智能体的安全问题贯穿任务的全生命周期，包括输入、规划、执行、输出以及多智能体协同等多个环节。相关风险已被国家互联网应急中心明确指出，主要集中在提示词注入、误操作、插件投毒及系统漏洞等方面。

　　从实际运行机制看，智能体操作往往呈现出“低风险操作叠加”的特征。例如，读取本地文件、发起网络请求或调用邮件发送功能，单一操作均属于合理行为，这些操作没有像“rm-rf doc/”这么高危可识别，但在自动化执行链条中，它们可能被组合为完整的数据外泄路径。这类问题的本质在于行为链条的不可控性，而非单一操作的风险。由于许多普通师生无法全面理解智能体的执行逻辑，因此，单纯依赖用户安全意识难以有效应对此类风险。尽管当前各类Claw工具已集成一定程度的开箱即用安全防护，能够缓解部分常见风险，但仍难以实现根本性防范。

　　3.信息化系统与端侧协同的安全风险

　　当端侧智能体与高校信息系统发生交互时，风险被进一步放大。一方面，师生可能借助智能体无意间绕过既有业务流程，直接调用系统接口，从而改变原有“面向人设计”的交互模式。例如，在选课、资源预约等较为激烈的竞争场景中，自动化请求可能冲击系统公平性。

　　另一方面，智能体在执行过程中具备一定的“路径探索能力”，在不断尝试信息化系统业务路径时，可能无意触发潜在漏洞。一些在人工操作条件下不易暴露的系统设计缺陷，在智能体参与后更容易被触发并放大。历史上，浏览器预加载与爬虫机制曾导致原先应基于HTTP POST请求实现的更新或删除接口错误地使用了GET请求实现，从而引发数据的非预期变更乃至删除。在智能体具备路径探索与自动执行能力的环境下，此类问题的触发概率将显著提升，且影响范围更广。

　　对于具备较高权限的管理人员而言，相关风险更为突出。智能体一旦参与高权限操作，在缺乏回滚机制与完善审计的情况下，误操作可能直接影响生产系统的稳定运行。

　　在安全监测层面，传统UEBA（User and Entity Behavior Analytics，用户和实体行为分析）模型主要基于人类行为特征构建，通常假设用户行为低频且具备一定可预测性，而智能体行为呈现出高频、自动化和非确定性特征，使既有模型的识别能力显著下降，从而提高了监测与预警的难度。

　　面向智能体时代的安全治理体系

　　总体来看，智能体并未创造全新的安全问题，而是通过自动化与规模化效应显著放大既有风险，使原有安全体系在面向动态执行环境时逐步失效。无论是面向执行约束环境的Harness Engineering、用于行为边界控制的围栏机制、承担统一接入与管控职能的AI网关，还是强调可观测性的审计体系，均难以单独或协同构成有效防护闭环。本质上，这一变化体现为安全范式由“静态防护”向“面向运行过程的动态执行安全控制”的转变。

　　1.发展和安全并重

　　新修订的《中华人民共和国网络安全法》明确体现了统筹发展和安全的规范立场：一方面强调对人工智能基础理论、关键算法及相关技术研发的支持，推动训练数据资源与算力基础设施建设；另一方面也明确提出完善人工智能伦理规范，加强风险监测评估与安全监管。这一制度安排反映出法律在鼓励技术创新与应用落地的同时，也强调切实保护相关主体的合法权益。

　　对于智能体而言，当前诸多安全问题在很大程度上源于技术与应用的飞速发展。例如，以 OpenClaw为代表的智能体工具，在短时间内实现了用户规模、生态能力与技术迭代的同步扩张。在此过程中，如果过度追求应用落地速度，忽视安全体系的同步建设，将导致“快出政绩”的错位政绩观，出现发展和安全之间的结构性失衡。

　　在此背景下，对于人工智能应用的推进节奏应审慎适度，而安全能力建设则需同步加快。从治理思路上看，应坚持在可控前提下推进应用落地，避免因风险顾虑而采取简单限制；同时，应以体系化治理替代分散的个体管控，通过统一架构与机制提升整体防护能力。还要依托工程化手段持续强化安全能力边界，提高攻击成本，从而在发展和安全之间实现动态平衡。

　　2.构建统一的AI管控机制

　　在具体实施路径上，高校可优先建设统一的AI网关体系，为校内各类人工智能应用提供算力支撑，并承载安全控制与审计等关键能力。同时，通过对AI资产、输入输出、执行行为及日志数据的集中管理，实现对智能体运行全过程的可观测与可控，从而将原本“自由运行”的智能体逐步转化为“受控执行”的工具。

　　在此基础上，可进一步构建统一的智能体接入入口，并同步推进智能体资产的系统化梳理。具体而言，需全面识别校内各类信息化系统中已嵌入或对接的智能体能力，明确“哪些系统引入了哪些智能体、承担何种功能、是否经过风险评估与安全审查”，并对其调用范围、数据访问权限及执行边界进行统一登记与分级管理。同时，还需覆盖端侧使用情况，掌握师生在实际教学、科研与管理过程中使用了哪些智能体工具访问校内系统的情况，识别是否存在绕过既有接口或安全控制策略的潜在路径。

　　在完成上述资产梳理与现状识别的基础上，结合输入输出控制、执行前校验、行为约束以及全量日志审计等机制，逐步构建面向智能体的统一接入与治理体系，持续提升整体安全的可控性与可管理性。

　　3.提升现有信息化系统

　　信息化系统在引入人工智能能力时，需要在AI应用的灵活性与代码约束的确定性之间取得平衡。实践中，可将智能体定位为“探索工具”，将经过验证的稳定流程逐步固化为程序代码，从而实现从“自由执行”向“约束执行”的转变。

　　具体而言，可先利用AI对业务流程进行探索与试验，保持较高灵活性；在此基础上识别并验证可复用的稳定路径；最终通过程序化方式加以固化，形成具备强约束能力的执行机制。

　　该过程可类比为“钢筋混凝土结构”：其中AI提供灵活性，类似混凝土对整体形态的支撑，而静态的程序代码、配置及各类约束机制则如同钢筋，需提供必要的结构强度与边界控制。

　　与此同时，应主动提升信息化系统对机器调用的友好性，逐步开放标准化接口能力，特别是探索提供CLI等更适配智能体调用的交互方式，将师生使用OpenClaw等工具中的实际使用需求，转化为规范、可控的系统调用路径。

　　在此过程中，应对师生借助智能体完成的业务操作进行分析与归纳，反向提炼真实需求，推动系统能力的结构性优化。借鉴互联网企业广泛开放能力接口的实践，高校信息化系统亦应顺应技术演进趋势，逐步实现从GUI到API再到CLI的能力开放升级，在提升智能体适配能力的同时，增强整体安全可控性。

　　4.管理策略与组织保障

　　在管理层面，高校需明确智能体使用规范与责任边界，通过制度约束与技术手段形成合力，同时建立常态化培训机制，提升师生的安全意识与使用能力。在治理过程中，应避免简单限制或完全放任，在规范引导与技术支撑之间取得平衡。

　　具体而言，如端侧的安全培训，应引导师生通过沙箱或容器实现运行环境隔离，通过最小权限与临时授权机制控制访问范围，同时辅以数据访问控制与备份机制，降低数据泄露与误操作带来的影响。

　　结语

　　智能体技术的发展，正推动高校信息化从“数字化”迈向“智能化执行”。在这一过程中，高校既要把握技术发展带来的效率提升与能力扩展机遇，也必须正视由此引发的安全挑战。只有在发展和安全并重的前提下，通过体系化架构设计与工程化治理手段，构建可控、可信的智能体应用环境，才能有效释放人工智能的技术价值，推动高校信息化建设行稳致远。

　　基金项目：中国高校产学研创新基金—新一代信息技术创新项目（2024IT085）

　　参考文献：[1]郑海山.生成式AI如何赋能高校信息化系统？[J].中国教育网络，2025，(Z1)：25-27.

　　作者：郑海山（厦门大学信息与网络中心）

　　特别声明：本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者在两周内速来电或来函联系。