欧盟GMP附录22的“AI禁令”之争：为什么监管越保守，AI原生架构越重要？

导语：最近，欧洲药品监管领域关于AI的讨论，突然变得很具体：对于关键GMP应用，生成式AI和大语言模型暂时被排除在外，能够持续自我学习的模型也不宜直接参与关键判断。很多人把这理解成“监管部门不欢迎AI”。但换一个角度看，它真正提醒药企的是：AI不能只是后来接入系统的一个工具。它从一开始就应该被安排在清楚的位置上，知道能做什么，也知道什么时候必须停下来。

一、所谓“AI禁令”，其实是在划质量责任的边界

这里说的并不是“制药行业不能用AI”，而是关键质量判断不能交给一个企业无法说清楚、也无法稳定复现的黑盒子。对于资料整理、信息检索、文档比对等不直接改变质量结论的工作，AI仍然有很大的发挥空间；越靠近放行、偏差结论和CAPA批准，要求就越严格。

监管释放出的信号其实很朴素：AI离关键质量决策越近，企业就越要说清楚它做了什么、依据是什么、出了问题谁来负责。

二、为什么静态模型容易管理，LLM却很难直接进入关键环节？

对于相对稳定的机器学习模型，监管思路是可以理解的：先把用途说清楚，再用独立数据测试，记录模型表现，必要时说明哪些因素影响了结果，并在模型发生变化时重新评估。SHAP、LIME、置信度阈值这些要求，背后都是同一个目的——让质量人员有机会检查模型，而不是只能接受它给出的答案。

大语言模型的难点在于，它看起来很会解释，却未必真的能把依据交代清楚：

训练边界说不清：企业通常无法完整还原基础模型使用过哪些数据，也无法控制模型本身的更新过程。

解释不等于依据：模型给出的理由可能很顺，但顺畅的文字不代表它真的引用了正确的事实。 概率不等于事实：模型生成的是最可能出现的表达，不是经过质量体系确认的结论。 变化很难察觉：模型、提示词、知识库、工具权限任何一个环节发生变化，都可能让最终结果发生变化。

所以，监管态度暂时保守，并不奇怪。关键质量环节需要的不是“说得像真的”，而是出了问题以后，企业能够把过程还原出来，并且知道下一次怎样避免同样的问题。

三、真正的问题，不是有没有人工审批，而是审批有没有意义

不少企业的做法是先把通用AI接入现有系统，再在页面上加一个“人工确认”按钮。低风险场景这样做或许够用，但放在QMS里就要谨慎：如果AI已经替人筛选了资料、排了风险优先级，甚至写好了偏差判断，最后的人工点击是否真的算得上有效复核？

真正需要在系统里提前想清楚的，是下面这些问题：

AI在这个流程中是查资料、做整理，还是已经在替人下判断？

它看到了哪些数据，使用的是哪一版规则和知识库？

哪些结果可以自动流转，哪些只能作为建议，哪些必须被系统拦下来？

审批人能否看到原始资料，能否知道AI为什么给出这个建议？

模型或知识库发生变化时，系统能不能及时提醒并启动评估？

这些事情不能只靠上线后的培训和SOP来补。AI能看什么、能改什么、能不能推动流程继续走，最好在系统设计时就固定下来。这样，质量人员面对的不是一个“会自己发挥”的助手，而是一个行为范围清楚、出了问题可以追溯的工具。

四、AI参与QMS，至少要分清三种情况

面对监管边界，企业没有必要在“全面拥抱”和“完全不用”之间二选一。更实际的做法，是根据风险把AI安排到不同位置上。