华南理工大学DeepSeek部署的最大特点是凭借满血版DeepSeek-R1跨校共享的功能,向省内其他院校提供DeepSeek后端共享服务,快速实现全省60多所高校DeepSeek本地化部署。
1月20日,DeepSeek-R1模型发布,引发全球关注。因其性能接近OpenAI-o1,且成本仅为同类模型的3%~10%,发布后7天内用户突破1亿,成为史上最快破亿的应用。更重要的是,DeepSeek的国产化性质和开源策略使其成为我国自主可控的大模型——中国人可以依靠自己的力量开发堪作“国之重器” 的顶级大模型。
近年来,教育领域在AI技术飞速进步的推动下,也于教学方法、科研模式及管理方式等多个方面开始发生深刻的变革。鉴于教育系统肩负的立德树人使命及其行业的特殊性,拥有一个能够实现自主可控的大模型至关重要。DeepSeek大模型的诞生正好可以满足这一需求,随之而来的就是大批高校的密集接入。
2月,华南理工大学(以下简称“华工”)基于学校“成务”科学计算平台成功完成DeepSeek R1 671B满血版和32B蒸馏版的本地化部署,成为全国首批完成DeepSeek部署的高校之一。
华南理工大学满血版DeepSeek
此外,华工作为中国教科网华南地区节点,面向广东省内其他院校提供满血版DeepSeek-R1后端共享服务,帮助快速实现全省教育系统DeepSeek本地化部署。目前,已有61个单位共享了华工DeepSeek的后端。这一举措充分展示了华工以“国家队”水平助力广东教育强省建设的担当。
华工DeepSeek满血版部署实践
华南理工大学是较早开展科学计算研究和服务的高校。2022年GPT-3.5发布后,就开始积极探索人工智能在教学、科研和管理中的应用。2022年底,学校获得教育部贴息贷款建设成“开物”“成务”科学计算公共服务平台,平台高性能计算能力超过 7PFlops,其中GPU提供的AI计算能力超过94PFlops,存储能力超过34PB。计算能力和存储能力居高校自建平台前列,同时也是国内首个算存一栈式液冷科学计算平台。
2025年2月,随着DeepSeek-R1大模型的发布,华工为进一步培养师生AI思维和使用AI的能力,迅速行动,基于学校“成务”科学计算平台成功完成满血版DeepSeek-R1(671B)和32B蒸馏版大模型的本地化部署,走在全国高校前列。在校园网内,师生进行无限次的免费体验多版本的DeepSeek,彻底告别“服务器繁忙”的困扰,保障科研和学校内部数据的在校内安全运行。
相较于蒸馏版模型,华工满血版DeepSeek-R1力求为广大师生提供更高性能、更全功能的服务,基于 671B参数量级,支持复杂逻辑推理与长文本深度交互,以及与私有知识库融合,为教学科研提供定制化能力。
接入DeepSeek大模型和本地化部署概念不同,前者是调用其AI能力,后者是将模型部署在本地设备或算力平台,为本地或远程用户提供AI能力。本地化部署后,基本应用是对话功能,因此无论是科研、学习生活,师生都可以通过DeepSeek获得精准、实用、便捷的帮助。对于AI应用,不仅可以通过API调用、本地化DeepSeek模型,实现稳定高效的DeepSeek模型能力服务,还可以快速接入校本知识库,如学术资源、课程体系,形成各具华工特色的智能体。
华工的DeepSeek部署采用了先进的硬件配置和高效的部署方案。具体来说,使用了12台4卡A800服务器安装DeepSeek 671B满血版,6台4卡A800服务器安装DeepSeek 32B蒸馏版。这些服务器采用了vllm大模型推理框架,确保了模型的高效运行和快速响应。图1为学校GPU集群的利用率图表,展示了不同时间段内集群的使用情况,其中满血集群的利用率整体较高,32B集群的GPU利用率波动较大。
图1 GPU集群利用率动态分析:32B与满血集群性能对比
DeepSeek本地化部署有诸多优势:一方面,根据具体需求实现定制化开发,满足多样化的教育和科研需求。通过将DeepSeek对话和应用系统接入自有的知识库,如学术资源、课程体系等,创建各类具有华工特色的智能体。此外,用户也可以通过调用本地的DeepSeek API,将DeepSeek模型能力融入自己的系统之中。
具体而言,前端应用可以通过开源的Dify,实现简单、快速的开发,体验DeepSeek R1智能问答等功能;还可以通过开源的WebUI,实现附件上传、联网搜索和代码解析等新功能,大大提高了用户体验和模型实用性。
另一方面,DeepSeek大模型与华工统一认证系统对接,在数据安全和用户隐私保护方面表现出色,实现“功能齐全、用得安全”。业务部门和师生的问答数据、API调用记录以及本地知识库接入数据,均仅在本地存储,不会用于模型优化或与第三方共享,确保数据隐私零泄露。特别的,对于科研团队和学校内部使用的数据、资料、资源,以及涉及保密要求的科研活动数据,都会仅限于本地传输和处理。
通过实践发现,在DeepSeek R1的多个蒸馏版本中,32B模型在评测中表现最佳。而14B模型虽然与32B性能差距不大,但成本更低,具有良好的性价比。因此,根据不同的应用需求和网络状况,灵活调用策略,进一步对用户的应用场景进行分级分类,可以优化本地化或半本地化部署。基本原则就是通过本地化部署大模型,按需提供服务,重点支持科研、模型微调与蒸馏,并优先处理应用调用,以最大化发挥本地部署的优势。
目前,华工“百步梯学堂”、招生智能问答、网络助手等已接入DeepSeek,学生工作系统的数字心理辅导员正在接入,基于RAG的AI教学、科研、学习助手及智能问数等智能体也将接入。
华工DeepSeek部署面向省内院校开放
通用大模型训练成本高昂,AI赋能教育有算力、人才门槛,算力共享和产业深度融合是教育领域部署大模型的关键,当前国内外均呈现“头部企业引领、高校追赶”的趋势。1月,广东省政协会议上,26名政协委员联名提议“打造大湾区高校算力共享系统”,建议在广东省教科网大部分高校万兆互联和广东省5G教育专网的基础上,建设算网一体化系统,解决广东省高校算力“结构化短缺”问题。
华工DeepSeek部署的最大特点正是凭借满血版DeepSeek-R1跨校共享的功能,依托国家教育大数据中心算力共享平台,通过广东省教科网和广东省 5G教育专网等,向省内其他院校提供DeepSeek后端共享服务,快速实现全省教育系统DeepSeek本地化部署。
广东省院校只需在其本校安装DeepSeek前端即可以通过广东省教科网连接到华南理工DeepSeek后端,不需要本地的算力就可以为该校师生提供 DeepSeek服务。据统计,接入华工DeepSeek后端的61所高校都已完成了教育系统本地化部署,部署于广东省教科网。此外,有些单位部署了32B蒸馏版,需要使用满血版时连到华工后端,本校学生也因此可以享受满血版的服务。
举例来看,为解决职业教育院校在人工智能应用中算力短缺的问题,华工与广东职业教育信息化研究 会围绕科学计算公共服务平台共享算力、DeepSeek在高校本地化部署和应用开展合作。
一方面,搭建私有模型。依托华工已实现本地化部署的DeepSeek等大模型,结合本地知识库,打造垂直领域专属轻量化AI模型,实现“知识沉淀-智能应用”闭环。系统通过RAG检索增强生成的框架实现知识库动态检索,结合本地知识图谱构建与混合增强训练,使模型精准理解业务场景的专业术语与业务逻辑,支持知识库对话、LLM对话、搜索引擎对话,通过智能路由机制,系统自动匹配最优应答方式,解决通用模型“知识幻觉”问题,提升回答准确率,支持数据全程不出域,助力学校构建安全可控、高效精准的智能中枢。
另一方面,实现满足个性需求的定制服务。根据各院校的业务场景进行个性化需求开发,实现定制化服务,包括本地知识库对接、知识分片优化服务、统一认证对接、AI应用编排服务、结构化数据库对接服务、用户前端适配服务等。
数据安全保障也是此次共享部署的重点工作。通过广东省教科网在广东省教育系统共享DeepSeek后端产生的数据,控制在教科网内部前端高校和华工后端之间传输,不扩散到互联网中。不仅降低了各校的部署成本,还大大提高了人工智能技术的普及率和安全性。
建设学校统一的AI能力中心
有效培养学生的人工智能思维和能力,重要的一环就是让一般学生能方便快捷地使用人工智能。建设校级统一AI能力中心尤显关键,师生可以方便生产知识库和智能体,这可推动全校师生AI应用能力的培养。
华南理工大学AI能力中心
为培养师生使用AI的能力,华工开展了AI能力中心建设,平台提供多种预训练模型供师生选择,使师生能够根据自己的具体需求挑选合适的模型。这样的设计不仅提高了AI服务的个性化和灵活性,还有助于师生更深入地理解和应用人工智能技术。
此外,为了充分发挥学校的计算资源优势,学校AI能力中心采取本地化部署策略,并重视保障知识库的隐私和安全,着力为师生提供可靠、高效的AI服务环境。还致力于打造多场景落地,满足师生在教学、科研以及管理等各个方面的需求,全面提升学校的智能化水平。
通过以上举措,华工为全校师生提供了高效、智能、便捷的AI服务,具体体现在以下四个方面:一是大模型服务与前端解耦,多服务器前端共用大模型服务。二是大模型服务透明化,老师、学生以及各部门,通过AI能力中心定制化个性化AI应用,获得模型服务,前端应用可以根据实际需要选择不同的模型。 三是大模型服务普及化,老师、学生均可以低门槛开发AI应用,人人都可以拥有自己的智能体和知识库。四是模型服务压力需求轻量化,通过个性化知识库的建立,极大降低模型的推理需求,大部分的信息可以从知识库获取。
此外,近年来,华工广泛探索AI在多个学科和应 用领域的创新赋能,从新能源汽车产业链优化、法学人才创新培养、有机光电材料研究,到多智能体协同量化投资系统、古籍文献分析与识别系统的开发,再到主动健康大模型、思政教育、绿色节能策略等的AI应用实践,充分展示了AI在推动高等教育高质量发展的巨大潜能。
总之,华南理工大学在人工智能领域的探索和实践,不仅提升了校内教育智能化水平,还为广东省乃至全国的教育发展提供了新的思路和模式。通过DeepSeek的部署和跨校共享,也为其他高校和科研机构提供了经验借鉴。未来,学校将继续深化AI在教育中的实践,推动教育数字化和智能化的发展,为教育强国建设做出更大的贡献。
来源:《中国教育网络》2025年2-3月合刊
作者:陆以勤(华南理工大学副首席信息官兼网络安全和信息化领导小组办公室主任)
责编:陈荣