解读欧盟《人工智能法案（审议稿）》

当前，正值ChatGPT引发全球人工智能热潮之际，酝酿已久的欧盟《人工智能法案（审议稿）》（下称《审议稿》）于2023年6月14日成功通过了欧洲议会审议，并进入下一步立法程序。欧盟官方预计该法案将于2023年年末或2024年年初定稿。欧盟又一可能影响全球数字经济规则的法案呼之欲出。面对缺乏先发优势的竞争形势，欧盟利用其统一经济体的强大经济实力和成熟市场优势，积极开展数字经济方面的立法和执法活动，一定程度上掌握着全球数字经济规则制定的话语权。《审议稿》与欧盟《通用数据保护条例》（General Data Protection Regulation，GDPR）类似，关乎数字市场准入、企业合规成本、产业发展方向和国际关系博弈等，将对全球人工智能发展产生广泛而深远的影响。

目前，《审议稿》有部分内容尚待欧盟立法者进一步讨论，但其整体框架和许多重要内容已确定。笔者通过解读《审议稿》的域外效力、适用范围、对市场准入影响以及该法案与其他欧盟法规关系等内容，旨在协助产业界掌握欧盟数字市场规则制定情况，更好地助力涉外企业制定人工智能产品在欧盟和全球的商业策略，把握机遇、规避风险。

《审议稿》域外效力与广泛适用

与GDPR类似，《审议稿》综合了属地和属人原则，具有域外效力。

《审议稿》将适用于在欧盟境内或境外设立的人工智能系统供应商，前提是这些供应商将人工智能系统投放到欧盟市场、在欧盟市场使用或服务于位于欧盟的用户。为了最大限度地防止规避行为，由欧盟境外的人工智能系统所产生的输出成果如果拿到欧盟境内来使用，则《审议稿》同样适用。

《审议稿》经多方博弈逐渐成型的“人工智能系统”定义，满足了欧盟本次立法所需要的国际性、全面性和灵活性。宽泛的“人工智能系统”定义使该法案具有堪比GDPR的广泛适用范围。

首先，《审议稿》对“人工智能系统”的定义主要基于经济合作与发展组织（OECD）已经使用的定义。根据《审议稿》第3（1）条，人工智能系统是指使用在《审议稿》附件1中列出的特定技术和方法开发的软件，能够针对由人类定义的给定目标、生成影响其交互环境的内容、预测、建议或决策等输出。

其次，《审议稿》附件1列出了当下可能用于开发人工智能系统的技术和方法列表，包括机器学习、基于逻辑和知识的系统等，表述较为开放和宽泛。需要特别注意的是，人工智能系统的定义既包括可以独立使用的人工智能系统，也包括作为产品组件使用的人工智能系统。

最后，为了能够涵盖人工智能未来的技术发展，《审议稿》第4条赋予了欧盟委员会通过“授权法案”的形式不断补充和更新附件1的权力，从而确保了定义的灵活性。

《审议稿》对人工智能产品在欧盟市场准入影响

目前，GDPR是阻碍微软、谷歌等头部人工智能产品提供商在欧盟市场发展业务的主要法律障碍之一。意大利个人数据保护局宣布，出于对个人信息保护和数据安全方面的担忧，从3月31日起暂时禁止使用ChatGPT。爱尔兰数据保护委员会于6月13日表示，谷歌迄今为止提供的关于其生成式人工智能工具Bard如何保护欧盟公民个人隐私的信息不足，无法证明其GDPR合规性，谷歌因此不得不推迟在欧盟市场投放Bard的计划。未来《审议稿》一旦落地生效，将继GDPR之后对全球人工智能产品在欧盟市场的准入产生重大影响。

《审议稿》体现了欧盟监管态度的明显转变，从几年前的软法自律型规制，转变为通过强制性法规进行的硬性规制。就市场准入而言，《审议稿》的限制作用很可能大于促进作用。

其一，《审议稿》对欧盟市场准入具有一定的促进作用。该法案与GDPR均属欧盟立法最高层级——规则（Regulation），能有效约束各成员国，有利于统一各成员国对人工智能产品的监管规则，减少制度鸿沟，增加欧盟统一大市场监管政策的可预见性。这将有利于符合欧盟监管要求的人工智能产品在欧盟全境推广。此外，欧盟委员会建议成员国或欧洲数据保护监管机构建立监管沙箱（即受控环境），以促进人工智能系统在投放市场之前进行一段时间测试和验证，以此鼓励创新。

其二，《审议稿》基于《欧盟运行条约》的相关要求，对人工智能系统进行基于风险的分类监管。因风险极高而被归为“禁止类”的人工智能产品将被排除在欧盟市场之外；因风险较高而被归为“高风险类”的人工智能产品将面临严格的市场准入限制。

《审议稿》规定了类似于GDPR的巨额罚款。根据涉案条款不同和情节严重程度不同，不遵守《审议稿》的行为将面临最高达3000万欧元或全球年营业额6%的行政罚款。各欧盟成员国均需要制定处罚规则，并采取一切必要措施确保这些处罚规则得到适当和有效的执行。综合来看，法案将明显增加企业的经营风险和合规成本。在法案的立法过程中，产业界的反馈大多为反对。

不同类型人工智能产品的合规要义

充分理解法案的立法框架

《审议稿》虽然是针对全新领域的立法，但也是建立在欧盟现有法律规则之上的。欧盟将人工智能系统看作涉及安全问题的产品。2008年通过的欧盟产品立法总体框架——新立法框架（New Legislative Framework，NLF），提出了欧盟产品立法所遵循的总体结构以及新立法可使用的工具，而《审议稿》正是围绕NLF框架构建的。

首先提出一套“基本要求”，即产品必须满足的要求。一旦满足这些要求，就可以进入整个欧盟市场。欧盟通常配套设计满足特定基本要求的统一技术标准，并发布在欧盟官方公报上。遵守统一技术标准即证明产品提供商符合了基本要求。

其次是要求采取“适当的风险管理措施”。虽然人工智能产品提供商也不是不可能在未遵守统一标准的情况下满足基本要求，但在落入灰色区域后提供商必须证明其替代解决方案至少与统一标准等效，这将增加合规的不确定性。在尚不存在统一标准的情况下，当前的《审议稿》规定欧盟委员会可以制定“通用规范”来填补空白。与统一标准通常由独立于欧盟的组织制定不同，通用规范的制定仍然完全掌握在欧盟机构手中。

此外，“合格评定”是NLF执法工具之一，涉及安全问题的产品上市前必须进行自我测评或第三方评测并加贴安全认证（CE）标志。

避免涉及四类禁止类人工智能系统

《审议稿》第二章（第5条）明确禁止有害的人工智能系统在欧盟使用。被禁原因是这些人工智能系统对人的安全、生活和权利构成明显威胁，造成“不可接受的风险”。禁止类人工智能系统包括四类：有害的、操纵性的“潜意识技术（Subliminal Techniques）”类人工智能系统；利用特定弱势群体（例如身体或精神残疾的人）的人工智能系统；公共当局或其代理人用于社会评分目的的人工智能系统；除少数例外情况外，用于执法目的设置于公共空间中的实时远程生物识别系统。第四类中涉及的少数不被禁止的例外情况有：有针对性地搜寻包括失踪儿童在内的潜在犯罪受害者；防止对人员生命或人身安全或恐怖袭击的具体、重大和迫在眉睫的威胁，侦查、定位、确认或起诉犯有《欧洲逮捕令框架》所规定的罪行的罪犯或嫌疑人。

注意高风险类人工智能系统的各项合规要求

《审议稿》第三章（第6条）规定的“对人的安全或基本权利可能造成不利影响的”高风险类人工智能系统，引发了业界普遍关注。高风险类可以分成两大类，其中，第二大类又进一步包括8个小类。

第一大类，用作产品安全组件或欧盟健康和安全协调立法所规制的系统（例如玩具、航空、汽车、医疗设备、电梯）。

第二大类，该法案附件3中列举的8个领域的人工智能系统。与附件1的情况类似，欧盟委员会可以根据需要通过授权法案的方式对附件3进行更新：针对自然人的生物特征识别和分类；关键基础设施的管理和运营，例如用于道路交通、供水、供气、供暖和供电安全部件的人工智能系统；判断自然人是否有资格或有必要参加某项教育或职业培训；用于就业招聘、员工管理和自由职业的筛选和评价等；获得或享受基本私人或公共服务和福利的权利或优先级，例如社保资格、信用评级、火警和医疗急救优先级；执法行为，例如用于测谎、判断自然人犯罪倾向、刑事案件证据收集等；移民、庇护和边境管制管理；司法机关案例检索和案件审查程序。

上述1大类加8小类所有高风险人工智能系统都需要满足相关合规要求：

一是上市之前在欧盟委员会管理的数据库中注册该系统。

二是上市之前进行自评估或第三方评估。其中，欧盟现有的产品安全立法已有第三方评估要求的，一律继续执行。此外，涉及生物识别的高风险人工智能系统也需要进行第三方评估。其他高风险人工智能系统不强制要求进行第三方评估，但需要至少开展自评估，以表明符合新要求并可以使用CE标志。

三是风险管理与网络安全要求。高风险人工智能系统的提供商、进口商、分销商和用户需要各自履行风险管理、测试、技术稳健性、数据培训和数据治理、透明度、人类监督和网络安全等方面的要求。

四是境外提供商通过境内代表履行法律义务的要求。来自欧盟境外的高风险人工智能系统提供商需要让其在欧盟境内的授权代表确保完成自评估或第三方评估，建立长效监控系统并实施整改措施。

以横跨禁止类和高风险类的人脸识别技术（FRT）为例，除了数据保护和非歧视等已有的欧盟立法外，《审议稿》拟对人脸识别规定新的规则，根据其风险程度进行区别管理。除非成员国出于重要的公共安全原因选择允许并获得司法或行政授权，否则禁止在公共场所使用实时面部识别系统进行执法。但是，允许用于执法以外目的的各种人脸识别，如边境管制、市场、公共交通甚至学校，只是在投入市场之前须经过第三方评估并符合安全要求。

需要注意的是，对于提供通用应用程序编程接口或开源人工智能模型的企业来说，其模型并非专门用于高风险人工智能系统，但仍被第三方以可能属于高风险类的方式使用，如何确保《审议稿》下的合规具有挑战性。

有限风险类和低风险类人工智能系统需要满足透明度义务

有限风险的人工智能系统包括与人类交互的系统、情感识别系统、非禁止和高风险类的生物特征分类系统、深度伪造。有限风险的人工智能系统需要满足法案关于透明度义务的要求，例如用户需要被告知某项内容是人工智能生成的。

所有其他风险较低或风险可忽略的人工智能系统都可以在欧盟开发和使用，而无需遵守任何额外的法律义务。欧盟鼓励和提倡这些低风险人工智能系统的提供商自愿适用高风险人工智能系统的那些强制性要求。

需要特别注意的是，法案下的有限风险或低风险并不代表GDPR下的低风险。这些人工智能系统仍然可能大量收集和处理个人信息和个人敏感信息，并可能由于无法满足GDPR下的合规义务而无法进入欧盟市场。

金融服务业的行业监管和政策对齐

金融服务业在《审议稿》的风险行业清单中处于中间地带，暂不属于禁止类或高风险类。

欧盟有关金融机构内部治理和风险管理规则的要求适用于金融机构使用人工智能系统提供服务的过程。金融服务监督当局（包括欧洲中央银行）将作为监督《审议稿》实施的主管当局。

《审议稿》中的合规要求也适用于金融服务。例如，该法案所规定的“合格评定”义务、特定情况下信贷机构可能作为高风险人工智能系统部署者的义务等，将被纳入信贷机构监管第2013/36/EU号指令。

企业应对策略

     人工智能系统的提供商和任何将产品带入欧盟市场的提供商一样，也需要对其缺陷产品造成的损失承担责任。虽然《审议稿》本身没有明确规定此类法律责任，但企业仍然需要关注后续《欧盟产品责任指令》（Product Liability Directive）的修订和新的《人工智能责任指令》（AI Liability Directive）的立法进程。此外，相关企业还需要关注与欧盟人工智能系统有关的行业性产品立法，例如《欧盟机械指令》（Machinery Directive）《欧盟一般产品安全指令》（General Product Safety Directive）。

数据的再利用、共享和汇集对于开发高质量的数据驱动人工智能模型至关重要。企业还需要特别关注《欧盟数据治理法案》（Data Governance Act）《欧盟开放数据指令》（Open Data Directive）的立法进程。

《审议稿》所规制的主体包括相关技术和产品的提供商、部署者和分销商，这一分类方法与GDPR将所规制主体分为个人信息控制者和个人信息处理者明显不同。鉴于很多人工智能系统同时受到《审议稿》和GDPR的管辖，主体分类的不同将导致潜在法律争议。在GDPR下，个人信息控制者决定着个人信息处理的目的和方法，因此承担远高于个人信息处理者的法律义务。以机器学习模型为例，机器学习模型在实际输入模型的数据基础上进一步自我改进，相关企业究竟属于GDPR下的个人信息控制者、共同控制者还是个人信息处理者存在争议。此外，《审议稿》规定了和GDPR类似的、就重大安全事故向主管部门报告的义务。未来，企业在发生重大个人信息泄露风险事故时，既需要根据GDPR在很短的时限内向数据保护主管机关报告，也需要根据《审议稿》向有关的市场监管机关报告。

为应对欧盟和全球人工智能监管形势的发展，建议企业积极评估风险并制定措施：分析企业人工智能现有和预期的开发和使用情况，掌握全局并确定重点；持续监控对企业而言关键的人工智能监管政策发展和市场趋势发展，参与意见反馈、行业调研和政策建议；制定企业自身的人工智能和技术发展短期和长期战略；评估《审议稿》以及全球其他司法辖区的重要监管规则对企业特定人工智能项目的具体影响；建立或继续利用企业现有的合规治理框架，减少合规成本。

作者单位：中伦律师事务所