2025年5月13日，医疗大模型开源评测社区上线发布会暨研发与应用安全培训会在上海模速空间举办。本次活动由上海市卫生健康委员会及中共上海市委网络安全和信息化委员会办公室指导，上海人工智能实验室主办，上海市徐汇区卫生健康委员会协办，华为技术有限公司承办。上海市卫生健康委员会副主任罗蒙、上海人工智能实验室主任助理石伯明及上海市委网信办网络技术处处长施敏出席并致辞，共同启动医疗大模型开源评测社区运营。上海市各医疗机构分管领导、专家及医疗大模型企业代表等近百人参会。
上海人工智能实验室医疗与评测负责人徐捷为大家详细介绍了医疗大模型评测体系及开源社区，分别从医疗大模型评测体系及其能力展示、医疗大模型开源榜单MedBench、围绕评测的开源生态社区、以及上海市医疗大模型评测验证四个方面介绍了智能发展与智能治理并重的“评训并进”生态理念，首次提出了涵盖11类伦理议题与9项安全管理维度的医疗伦理与安全框架，开源了包含医疗文本推理、医疗伦理及医疗安全的三类训练数据，并基于医疗大模型的“语料开源-模型评测-安全应用”全流程闭环开启“开源-安全”的生态共建模式，从而促进医疗大模型安全有序的发展。
上海人工智能实验室医疗与评测负责人 徐捷
发布会后，医疗大模型研发与应用安全培训会正式开启。上海人工智能实验室青年科学家刘东瑞带来了《AI内生安全能力建设-从安全评测到内生安全》的主题演讲，他指出，虽然当前AI技术还不足以立刻引发极端风险，但是从产学研到政府监管部门的一致共识是模型能力提升的同时风险等级也会提升，从联合国等国际组织，到不同国家的政府机构，都已经认识到AI安全和治理的重要性，并且在采取不同层面的应对措施。从整个AI领域的安全建设与性能发展来看，AI性能曲线快速上升。过去两年AI能力爆发式增长，但与之对应AI安全研究进展滞后，存在问题包括算力有限、人才稀缺等问题。AI的发展必须兼顾性能和安全，两者缺一不可。这也是指导实验室未来研究的重要原则。
上海人工智能实验室青年科学家 刘东瑞
上海互知光科技有限公司副总经理刘刚带来了《医疗大模型网络安全博弈：机遇与风险的平衡之道》主题演讲，他指出，国家卫健委发布的《卫生健康行业人工智能应用场景参考指引》，明确了涵盖医疗服务管理、基层公卫服务、健康产业发展、医学教学科研4大分类的84个AI应用场景，但大模型安全风险始终存在，例如提示注入、敏感信息泄露、供应链漏洞、数据和模型投毒等。针对这些痛点问题，他提出了大模型安全防护思路，包括加强全流程数据安全保障，特别是数据集安全及交付中安全；完善模型全流程保障，尤其是训练资源保护与监控模型加密与防护；重视内容全过程审查和建立合规运营支撑，包括隐私政策优化与授权管理和落实数据分类分级管理体系。
上海互知光科技有限公司副总经理 刘刚
上海交通大学附属第九人民医院小儿斜视负责人李琳为我们带来了《守护边界：AI赋能儿童视觉健康的应用安全之路》主题演讲。通过多个典型案例的分享，她深度剖析了AI赋能儿童视觉健康的核心场景。人工智能在眼科的应用主要基于眼科图像的分析，深度学习作为人工智能的重要内容，为眼科疾病的筛查和诊治提供了更辽阔的视野。近视是最为常见的儿童眼病之一，利用人工智能技术进行近视预测与筛查、高度近视风险评估、个性化管理与随访具有广阔的应用前景。同时，她为大家指出了儿童视觉健康AI应用安全的新航向，构建“可控、可信、可持续”的生态体系，通过多学科协同创新，打造以儿童为中心的AI服务闭环。
上海交通大学附属第九人民医院小儿斜视负责人 李琳
上海库帕思科技有限公司助理总裁胡茂密带来了《无数据，不模型：医疗语料的质量与安全挑战》主题演讲，他为我们详细阐述了医疗领域如何拥抱大模型的五步法，深入浅出的介绍了如何选择合适的基模、是否要研制垂类模型及相关要求、Agent与大小模型如何各司其职、语料如何配置及算力是通过云端还是私有化部署来进行部署。同时针对医疗语料之困，他为大家详细介绍了医疗大模型语料工具链平台及语料重点攻关技术方面的创新成果。
上海库帕思科技有限公司助理总裁 胡茂密
华为技术有限公司盘古医学大模型总监祝晓庆带来《向上攀峰向下赋能，华为助力医疗行业AI安全可信发展》主题演讲。她重点阐述了华为医学行业解决方案如何在底层芯片、行业数据及模型三个维度聚焦行业难题，提升医疗业务效率。传统大模型通常对计算资源和训练数据规模有着极高要求，但华为将传统算力变成了矩阵式的算力，从底层芯片到顶层应用，全自主知识产权，为医疗机构提供了一个稳定、可靠、安全的平台。华为打造的AI-Native云、CloudMatrix算力、昇腾AI云服务、盘古大模型等，重塑了医疗服务模式，提升了患者就诊体验 ，提高了医学诊疗技术，推动了医学学科发展。
华为技术有限公司盘古医学大模型总监 祝晓庆
北京道可特（上海）律师事务所高级合伙人潘跃海发表了题为《人工智能在医疗领域应用的法律风险探析》的主题演讲，他从法律专业角度解析了人工智能在卫生医疗应用的常见风险，包括数据隐私与安全、医疗过错与责任认定、知识产权风险、算法偏见与歧视、伦理与透明性等，并对如何正确应对这些风险给出了相关建议。
北京道可特（上海）律师事务所高级合伙人 潘跃海
在最后的圆桌论坛环节中，来自上海市数字医疗创新中心技术研究部主任柏志安、上海同济大学附属东方医院急诊和重症医学主任张海涛、讯飞医疗科技股份有限公司副院长赵景鹤、上海烁乐信息科技有限公司总经理张翰相、华为技术有限公司医疗行业解决方案总监蔡向峰，五人就医疗AI领域现存的数据安全、算法安全、伦理安全等问题展开了深入的探讨，医疗信息与临床专家，与技术企业家共聚一堂，从自身医疗大模型应用与研发实践反馈相互碰撞，既系统梳理了人工智能在医疗领域的应用路径，也直面了转型过程中的痛点与挑战，为医疗AI的进一步发展提供了可落地的解决方案。
本次医疗大模型开源评测社区上线发布会暨研发与应用安全培训会的成功举办并不是终点，而是一个全新的起点。未来，在各方的通力协作下，定能构建起更安全可靠、更开放创新的医疗大模型生态，让科技进步真正赋能产业发展。
Medbench医疗大模型评测平台: https://medbench.opencompass.org.cn/
