查找:                      转第 显示法宝之窗 隐藏相关资料 下载下载 收藏收藏 打印打印 转发转发 小字 小字 大字 大字
【期刊名称】 《华东政法大学学报》
从算法危机到算法信任:算法治理的多元方案和本土化路径
【作者】 张欣
【作者单位】 对外经济贸易大学法学院{副教授}对外经济贸易大学数字经济与法律创新研究中心{执行主任}
【分类】 科技法学
【中文关键词】 算法治理;算法问责;算法信任;平台责任
【期刊年份】 2019年【期号】 6
【页码】 17
【摘要】

算法与平台应用紧密结合,深入且广泛地嵌入社会生活的公私领域。伴随着算法适用中个人主体性的不断丧失、个体不公的结构性锁定以及传统决策治理框架的频繁失效,算法危机引发各国立法者关注。欧盟在数据治理框架下选择通过赋予数据主体新型算法权利的方式对算法决策施加影响和控制。美国则率先在公共领域通过组建专门机构和人员构成问责主体的方式建立算法问责制。嵌套于平台治理框架之中,我国通过为平台设定义务、界定平台责任,同时赋予个体权利的复合型思路寻求对电子商务算法场景的初始化治理。三种治理路径的形成机理、制度构造和治理效能虽有交叉,更具差异。未来我国算法治理方案的完善应当秉持技术信任和治理信任同步推进,打造场景化和精细化的算法监管机制设计,有效联结算法治理、数据治理和平台治理,并稳步理性推进算法治理短期、中期和长期方案,逐步迈向基于算法信任的智慧型治理。

【全文】法宝引证码CLI.A.1282674    
  
  

目次

一、算法危机的三重特征

二、算法治理的三种范式:个体赋权、外部问责和平台义务

三、迈向算法信任:完善我国算法治理方案的四项建议

四、结论

数据、算法和算力的强强联合使人类以一种极具颠覆性和变革性的方式迈进算法社会。商业场景下,从新闻分发到购物推荐,从投资理财到职场评估,算法正逐步成为“政府—市场”之外的第三只“无名之手”,强力助推数字经济蓬勃发展。在公共事业领域,从司法审判到智慧警务,从福利分配到信用评估,算法也正在政府、专家之外成为影响决策的第三股力量,或独立或辅助地发挥着智慧决策的作用。当算法与纷繁复杂的平台应用相结合,深入且广泛地嵌入到我们的生活中并不断拓展之时,看似理性的算法却引发了一系列算法危机:“算法歧视”“算法合谋”“算法霸权”“算法黑箱”“算法短视”等问题层出不穷。[1]一时间算法信任逐步瓦解,算法焦虑甚嚣尘上。[2]面对算法危机带来的多重挑战,欧盟在数据治理框架下赋予数据主体反对权和解释权[3]等新型算法权利形成了算法治理的核心思路。美国则遵循技术正当程序的思路,赋予公众对公用事业领域算法应用的知情、参与、异议和救济等程序性权利,着力构筑以算法问责为核心的外部治理框架。不同的算法治理路径反映了迥异的治理传统、制度基础和治理效能,能够为我国立法者探索算法治理的中国方案提供积极而有益的参考样本。因此,本文首先结合算法决策过程的特征深入剖析算法危机的核心表现,以此作为后文探讨算法治理的认知基础。其次,结合欧盟、美国和我国在算法治理中的鲜活经验梳理算法治理的多元路径,探析各国算法治理框架的设定边界。最后,结合我国算法应用现状和已有制度规范,提出完善算法治理的中国方案。

一、算法危机的三重特征

长久以来,当学者或者媒体指出算法应用引发的系列问题时,“算法黑箱”总是被不断提起并被视为危机产生的核心根源,引发了一系列公众焦虑和恐惧。[4]将算法黑箱视为引发算法危机核心根源的观点符合人类感知的客观规律。因为决策的黑箱性意味着决策相对人控制力和影响力的流失,与之伴随的不确定性和风险性感知极易引发公众的算法焦虑和算法恐慌。[5]但细究算法决策和人类决策的特性即可发现,算法危机的产生并非全由算法黑箱导致。因为与算法决策相比,人类决策同样具有“黑箱性”。体能、环境、情绪、认知等诸多复杂因素均可对人类决策产生影响。故人类决策的稳定性和绩效性在诸多场景中并不令人满意。但在机器决策和人类决策的绩效表现之外,人类决策的黑箱性却已经由探寻出的一系列信息补强制度[6]协助创建了可以提供稳定预期和公众信任的治理环境。因此,算法决策的黑箱性虽被广泛关注,但其却无法全面解释算法危机产生的核心根源。实际上,从算法的运行机理可知,在“算法黑箱”之外,由于算法可以高效解析个人数据并生成相关决策,因此具有将虚拟世界和现实世界的个体相互联结,将个体的过去、现在和未来建立联结的技术能力。这种技术上的“联结”极易引发治理层面的“失控”,使得公众对算法的技术信任难以建立,面对复杂、开放、多元的算法并与其产生互动之时心生恐惧。因此,在算法黑箱之外,由“联结—失控”作为表现形式的算法危机集中体现为下列三重特征。

(一)个人主体性的不断丧失算法决策具有专业性、复杂性和动态性特征。结合具体应用,算法主要发挥着优先级配置、分类、关联及过滤四项功能。[7]根据复杂场景和具体需要,自动化决策的达成还可能是四种功能的有机结合。这意味着数据和算法驱动的自动化决策可以将个体的线上、线下数据进行整合,形成对特定主体行为偏好的精准预测和评估,并可依据解析出的数据将其归入到特定的类别和群组中。[8]在这一过程中,决策相对人的主体性处于不断丧失的状态之中。一方面,算法运行依赖的数据已经超越了数据主体的可控范围。即使不依靠数据主体直接提供的数据,针对个体检测产生的数据(例如通过应用软件收集的位置数据),抑或是根据用户行为衍生推导出的数据都可以作为算法决策有效运行的依据和基础。[9]另一方面,当算法应用的边界在公私领域不断扩展之时,公众可能无从知晓某一对其产生影响的决策是由算法做出,对于决策形成过程亦无法有效参与。即使知晓相关决策的存在,个体亦难以理解算法决策的运行逻辑和具体依据,因此持有异议并挑战算法决策的行动空间十分有限。由此可见,算法决策的专业性和复杂性伴随着其在公私领域应用的通贯性,使得个体的行动空间、控制能力、影响范围和救济渠道不断消解,与之伴随的知情权、参与权、异议权和救济权纷纷失效,甚至个人的自由和尊严在不同程度都会受到挑战和侵犯。[10]故算法技术的不断发展和应用的不断扩张首先意味着对个人主体性存在和发展的消解和异化。

(二)个体不公的结构性锁定在算法引发的诸多危机之中,算法歧视现象尤为引发公众和决策者的担忧。有机构发布的指南明确指出,在刑事司法、医疗保健、社会福利和公共教育相关的公共事业领域应当对自动化决策限制使用。[11]究其原因在于,与物理世界中存在的种族歧视、性别偏见有所不同,算法歧视的发生具有系统性和反复性,一旦包含人类歧视的算法被广泛应用,随之而来的是个体或者群体系统性歧视的反复发生。例如,基于性别、种族或者其他核心要素,一旦某一个体或者某一群体在算法模型设计过程中被锁定于某一分类,则该算法将有极高概率延续现有的分类情况和阶层架构,强化潜在的社会不公,产生系统性的歧视决策,[12]从而发生个体不公的结构性锁定效应。例如,有研究表明美国执法部门使用的面部识别工具对于非洲裔美国人产生了歧视性影响,预测警务软件也因为不完整的犯罪数据库而对少数族裔社区产生不公决策,而这些算法又同时被保险公司应用,因此在保险费率核定时连锁性地出现算法歧视现象。[13]因此在公共事业领域,对于弱势群体和边缘群体,算法决策看似简化了繁琐的行政流程,但却具有让弱势群体更加边缘化的风险,从而发生“数字贫民窟”效应。[14]虽然在人类的各项决策中也可能充满多元的价值观和竞争性观点,[15]但在算法建模和系统训练的过程中,人类的固有偏见或者不正当歧视会被结构化,从而引发系统性社会风险,产生新的算法危机。法宝

(三)传统决策治理框架的频繁失效

算法的运行具有高度专业性和客观程序性,具有极强的工具理性特征。[16]但工具化和技术化的算法决策却难以保证决策结果公正无偏,从而完全符合实质层面的价值理性。换句话说,算法自身的有用性、有效性常无法保证社会层面所认同的自由、平等、公平、公正等价值理性的达成。[17]面对高效运转架构复杂的算法决策,长久以来为确保人类决策的理性、避免人类决策的武断、恣意和不当,以正当程序为内核而设置的制衡机制频繁失效。例如以“通知—公告”为代表的一系列公众参与机制已无法妥当适用于算法决策领域。面对算法适用危机,诸多政策制定者诉诸于改良传统决策的规制路径,希冀以算法透明度促进算法可问责性。例如,法国总统马克龙在2018年接受连线杂志采访时称,由政府资助开发或者自主开发的算法如果在公共事业领域应用,会逐步公布其代码和模型,以获得较好的算法透明度。[18]但在规制效能上,却发现于传统行政决策有效的规制路径对于算法决策显得力不从心。公众无法理解算法决策的逻辑、机理和依据,专业认知鸿沟使得公众在算法决策面前即使知晓了全部代码和模型亦无法理解一个复杂的算法决策树到底是由哪些输入和接合点对于特定决策发挥了决定性作用。与此同时,算法决策过程具有动态性。算法运行规则可能为了适应新的数据而加以改变。因此,以算法透明为途径,要求在特定时间披露代码和数据集的规制手段也许在某一时点具有规制效果,但却无法保障对其他时间节点的动态性决策提供解释和审查依据。[19]因此,鉴于算法架构的复杂性和决策过程的动态性,适用于传统行政决策的规制手段在效果上不尽如人意。算法治理是一项复杂的社会工程,仅通过简单复制或者对现有治理框架进行稍许改良的路径难以达到良好的治理效能。

综上可知,“算法黑箱”并非算法危机的全部根源。当算法高效、系统性地辅助或者独立决策时,可能伴随着个人主体性的不断丧失。当算法将虚拟世界和现实世界的个体相联结,将某一个体的过去、现在和未来相联结时,一次性的不公可能暗藏着对个体结构性的歧视锁定。当传统决策治理框架频繁失效之时,立法滞后、专业鸿沟等问题使得立法者面临着算法治理的巨大挑战。

二、算法治理的三种范式:个体赋权、外部问责和平台义务

为化解算法危机,各国政策制定者纷纷探索适应性、智慧化的治理手段,试图为公众建立算法信任的治理环境。以欧盟为代表的立法者在数据治理框架下通过赋予数据主体新型算法权利的方式对算法决策施加影响和控制。以美国为代表的立法者则率先在公共领域通过组建专门机构和人员构成问责主体的方式建立算法问责制。[20]与该两种算法治理范式有所不同,我国互联网技术的进步和产业的发展推动了以平台企业为核心的新型社会关系架构。平台企业成为我国网络治理的关键节点。[21]因此嵌套于平台治理框架,我国立法者通过为平台设定义务、界定平台责任,同时赋予个体权利的复合型思路寻求对算法场景的治理。三种治理范式并非截然不同,实际上互有交叉并在诸多方面展现了算法治理的一般规律。但基于治理场景、文化传统和规制资源结构等差异,三种治理范式仍然彰显了各国立法者对算法危机的差异化理解和算法治理的多元价值定位。下文拟围绕形成机理、制度构造和治理效能对三种治理范式予以分析,以剖析治理经验,总结治理规律,为我国算法治理方案的完善奠定样本参照基础。

(一)个体赋权治理范式

2018年5月25日《通用数据保护条例》(以下简称GDPR)正式生效。作为欧盟在数据治理领域颁布的核心制度,该部法律对识别分析和自动化决策做出了规定。就立法根本目的而言,立法者认为通过识别分析进行用户行为画像或者通过自动化决策影响个体利益的算法应用可能会产生法律或者类似重大影响,因此应当赋予数据主体以一定的新型权利获得对自动化决策的影响和控制。[22]遵循这一立法目的,GDPR第22条直接赋予数据主体有权不受仅基于自动化处理得出决定制约的权利,此处的自动化处理还包括识别分析。本条成为了GDPR算法治理的关键条款。在第22条之外,GDPR在背景引言(recital)71中还规定数据主体具有对自动化决策获得解释和对相关决定提出质疑的权利,从而补充细化了第22条建立的权利机制。[23]除直接对自动化决策加以规定外,立法者在第13-20条还赋予数据主体以知情权、访问权、更正权、删除权、限制处理权以及数据可携权等新型数据权利,希冀个体通过获得对数据的控制权进而获得对识别分析和自动化决策施加干预的行动空间。[24]

从设计机理来看,GDPR的算法治理机制是镶嵌于数据治理框架之下的。其制度运行逻辑是通过赋予数据主体事前的知情同意以获得选择空间,事中和事后围绕数据和算法构建多种新型主体权利从而助其获得影响和控制。例如,当运行识别分析时,如果个体数据在分类、标签等方面存在错误,导致算法对其偏好或者行为产生了预测或者评估错误,则数据主体可以通过更正权予以质疑以保障其数据权利。[25]从制度形成依赖的文化背景看,GDPR创设的个体权利范式符合欧洲大陆对隐私的一贯认知和治理传统。欧洲大陆围绕隐私保护建立的各项权利体现了一条共性规律:即建立在对个人尊严保护的基础上,赋予主体控制个人形象在社会中予以呈现的权利。[26]基于这一认知和隐私直觉,媒体以及收集、分析和传播个人信息的机构被认为是威胁和侵犯个人隐私和个人尊严的主要来源。[27]缘于这一认知,则不难理解算法对个体进行预测和评估时,实际上消解了该个体在社会中自主呈现形象的权利和控制能力。因此,当个体在某些情况下受到不准确、不公正和不正当的算法预测和评估时,通过立法赋予数据主体以拒绝的权利则成为题中之意。

但就治理效能而言,诉诸数据主体控制权和选择权的算法治理路径可能在治理效率、行业发展、集体行动和公共利益保护等层面存在局限,无助于解决上文提出的算法危机。首先,在复杂多元的算法应用场景下,依靠赋予数据主体以新型算法权利的制度设计可能与数据主体的行动能力并不匹配。例如在商业场景中,平台企业已经十分善于以“交叉补贴”的方式通过提供免费服务而获取个体同意来收集信息或者应用算法决策。在这一场景下,拒绝权被实际架空。与此同时,即使数据主体充分获得了有关自动化决策的相关信息,但囿于时间成本和专业知识,数据主体可能几乎没有能力提出异议并获得实质性改善。[28]因此去中心化的个体赋权路径在算法治理领域效能不佳。其次,个体赋权路径可能在一定程度上牺牲了市场效率。如詹姆士·惠特曼所指出的,欧盟的隐私法框架围绕个体尊严而设立,与这一价值相较,市场效率虽然重要但并不能对前者有所突破。[29]例如,由于向公众披露财务状况被视为对个人隐私的侵犯,征信制度在欧洲发展较为缓慢,对于消费者信贷信息的管制也一直十分严格。[30]信贷体系的缓慢发展也使得信用卡业务在欧洲的发展比美国滞后很多。因此在赋予个体上述新型算法和数据权利时,可能在客观上给算法技术的开发、优化和创新带来成本导致行业发展受阻。[31]最后,去中心化、个体权益化的治理范式还可能由于碎片化特性而不利于集体行动的达成。例如,在识别分析的应用场景中,当通过间接用户画像方式对某一群体进行预测分析时,不公或者歧视行为难以为个人用户所及时感知。因此在促进算法可问责性的行动中,专业组织或者特定群体的集体行动扮演了重要的监督力量。但个体赋权治理范式内生的碎片化趋势可能消解集体行动达成的制度基础,从而在算法应用场景中,不利于以公共利益为目的的集体行动的形成。

(二)外部问责治理范式

2017年12月18日,纽约市市长比尔·白思豪签署通过了美国立法史上第一个对公用事业领域算法进行问责的法案,即算法问责法(Algorithmic Accountability Bill)。[32]该法的制定和通过受到了ProPublica在2016年发布的美国司法风险评估项目算法歧视问题报告的影响,[33]经过多方推动,最终得以通过表决,顺利出台。[34]作为美国首部系统规制算法决策的法律,其篇幅虽然不长,但却建立了算法问责的核心治理架构。第一,该法明确规定了规制对象不仅包括基于自动化决策的情形还包括算法辅助或者支持决策的情形。第二,明确规定了算法问责制的适用主体是使用自动化决策系统的行政机构以及慈善组织。第三,该部法律规定了自动化决策工作组为算法问责制的实施主体。[35]工作组由具有专业知识的技术人士构成,同时还需要包含受到行政机构或者慈善组织自动化决策影响的代表性人士加入。第四,自动化决策工作组的专属职责包括成立后的18个月内向市长提交算法评估标准、救济程序、确保公众算法知情权、参与权的相关程序和技术要求。[36]

在纽约市之外,华盛顿于2019年2月也举办了有关算法问责法案的听证会,拟在全州对算法展开监管。该部法案虽然并不要求算法代码的全部公开,但要求公共事业部门在采用自动化决策系统之前创建系统和数据报告,提交给州首席隐私官并向公众在不少于30天的时间内广泛征求意见。[37]2019年4月,美国国会议员也提出了一项算法问责法案,拟对每年收入超过5000万美元、持有100万人或者设备信息的公司或者主要作为买卖消费者数据的数据经纪人公司实行审查。该法案希望通过联邦贸易委员会制定评估“高度敏感性”自动化决策的规则,以评估该系统是否存在偏见或者歧视,以及是否对消费者隐私或者安全存在风险。[38]上述三个算法问责法案虽然在微观制度设计上有所不同,但均强调建立算法问责制。通过诉诸于专业性的行政机构或者组建外部监督主体,[39]对算法决策可能潜藏的歧视、偏见和恣意进行审查。

从制度设计机理来看,与算法治理的个体赋权路径不同,美国在算法治理领域采用的是依靠外部专家、行政机构和公众进行算法稽核和算法评估的问责机制。算法问责机制的核心在于算法使用者或者控制者有义务报告并证明算法系统设计和决策应用的合理性,并有义务减轻算法可能带来的任何负面影响或者潜在危害。[40]换言之,算法问责制更加关注算法运行结果的公正性而非深究每一个内部运行环节,由此为算法使用者提供了探索降低算法风险和负面影响措施的制度激励。在算法问责制的建立过程中,立法者采取公共利益的视角,强调专家和专业组织等外部专业力量对确保算法决策理性的重要作用。同时从正当程序的视角出发,确保公众在事前、事中和事后享有充分的参与机会。从美国的隐私法发展脉络来理解,算法问责制符合美国长久以来的隐私文化和治理传统。如詹姆士·惠特曼所指出的,与欧洲对隐私的观念认知和文化传统有所不同,美国的隐私权传统中相对缺乏以荣誉和尊严感为导向的制度关照,更多是建立在对个人自由价值观被破坏的焦虑感之上。其倾向于将家庭想象为个人自由行动的防御和堡垒,将国家视为可能对个人隐私造成侵犯的主要来源。[41]受这一隐私直觉的影响,立法者试图通过限制国家权力、确保市场效率的方式来构建隐私治理体系。因此不仅在算法治理领域,在其他隐私领域中,行业自律和外部监督都不约而同地成为了重要的治理工具。[42]因此,率先在公共事业场景建立外部算法问责机制是符合美国的隐私文化和规制传统的。

从治理效能来看,依靠外部问责机制建立的算法治理路径虽然一定程度上弥补了个体赋权路径内生的种种不足,但却在技术可行性、与知识产权和商业秘密等制度的衔接以及实际治理效果等层面面临挑战。首先,依靠外部专家、行政机构和公众建立的算法问责制仍然面临着技术鸿沟的挑战。专业的外部专家可能具备算法稽核的知识和能力,但就一同构成问责主体的传统行政机构和普通公众而言,技术鸿沟的挑战仍然未能得到根本解决。例如,华盛顿州正在进行的算法问责立法设计了事前公布决策规则的算法透明度措施,以期为公众理解并参与算法问责提供知识基础。但如前文所述,面对复杂的算法架构,于特定时点公布算法规则的透明度措施无法为其后所作出的动态决策提供充分依据。[43]因此外部问责到底在何种程度上

  ······

法宝用户,请登录后查看全部内容。
还不是用户?点击单篇购买;单位用户可在线填写“申请试用表”申请试用或直接致电400-810-8266成为法宝付费用户。
【注释】                                                                                                     
©北大法宝:(www.pkulaw.cn)专业提供法律信息、法学知识和法律软件领域各类解决方案。北大法宝为您提供丰富的参考资料,正式引用法规条文时请与标准文本核对
欢迎查看所有产品和服务。法宝快讯:如何快速找到您需要的检索结果?    法宝V5有何新特色?
扫码阅读
本篇【法宝引证码CLI.A.1282674      关注法宝动态:  

法宝联想
【相似文献】
【作者其他文献】

热门视频更多