中国西藏网 > 理论 > 资讯

薛军:数字时代需要高度关注算法规制

薛 军 发布时间:2020-09-16 08:32:00 法治日报

  近日,《人物》杂志一篇关注外卖骑手的深度报道《外卖骑手,困在系统里》,引发了一场舆论风暴。外卖企业开发的实时配送系统,作为运用了AI智能算法和深度学习的系统,极大地提高了智能配送的效率,外卖骑手不需要自己去优化路线,只要按照系统指示,就可以不浪费一分钟,及时将外卖送到顾客手中。但外卖骑手越努力,系统就会自动修改参数,缩短配送时间要求,这样就使得外卖骑手不得不通过超速、逆行、闯红灯等方法来缩短配送时间,以避免因为延误而被罚款。但问题是,对经过这种“艰苦卓绝的努力”才达到的配送效率,智能配送系统又进一步将其默认设定为一种普遍性的、标准化的要求。这是一个可怕的自噬循环:外卖骑手越努力(不管这种努力是通过什么方式实现的),越是使得系统觉得骑手仍有潜力可挖,于是进一步提出近乎不可能完成的任务。本来是服务于人的系统,结果反过来控制和主宰了人。科幻电影《黑客帝国》里描述的一个无所不在,控制一切的矩阵(matrix),似乎正在成为现实。

  其实问题并没有那么复杂。我们所遇到的就是数字时代的算法问题。由于信息技术的发展,我们已经可以通过收集和处理大数据,来规划和安排社会生活中的很多事项。这样做不仅效率高而且判断更加精准。例如,银行可以基于其收集的海量金融消费数据,根据算法来决定是否给予一个申请人贷款,以及贷款的利率是多少。法院可以根据司法大数据,设计一个算法,来决定是否批准相关人员提出的保释、减刑的申请,甚至可以让算法来量刑。电商平台可以根据商业大数据来决定商家在搜索结果中的排序,以此追求最高的用户点击率购买率,实现平台GMV(成交总额)的最大化。可以说,伴随着大数据技术的不断进步,算法的使用必将全面铺开。我们正在迎接一个算法时代的到来。

  算法的运用在给我们带来各种福利的同时,也催生了诸多相伴而生的问题。作为算法运作之基础的数据是否客观真实?算法的运用是否会加深和强化歧视?我们是否有权利挑战算法给出的结论?进而言之,我们是否有权挑战算法本身的公平性与合理性?这些都是最近一些年来日益受到学界关注的重要话题。

  就其性质而言,算法其实是数据科技企业开发出来的一套运营管理工具,它在很大程度上替代了自然人来作出决策与判断。不过,即便有高科技背景,算法仍应被归于相应的运营者的决策与判断。我们不能因为算法中运用了自动决策以及深度学习之类的技术,就认为算法享有某种“技术中立”的地位。算法本身是一种技术,但是算法运营者赋予了其灵魂与价值选择,所以算法问责与规制的基础仍在于将算法运营者置于规制的中心。任何脱离这一基础来讨论算法规制的,注定会沦为空谈。

  具体来说,算法运营者必须为算法所导致的实际问题承担责任。例如某种特定的算法运用,是否导致了明显的违法歧视行为,是否导致了对公共秩序的危害,是否侵犯了公民的基本权利与人格尊严,是否构成对社会交往中必要的注意义务的违反等。在这里,我们并非想套用传统意义上的“产品责任”理念,去理解和界定算法运营者的法律责任性质,因为这二者的确存在重大的差别,但无论如何,算法运营者需要为算法运用的后果承担责任,是一个不争的事实。这种算法责任的具体制度框架当然需要进一步明确,也需要给予更多关注。作为一个初步的框架,算法规制可能需要包括以下要素。

  首先,对可以运用算法的场景建立审慎评估制度。对于涉及公民重大权益的场合,例如刑事诉讼程序、量刑等领域,如要运用算法来作出决策,需有更加严格的控制与审查机制。其次,对于算法运用是否产生了不良的后果,要建立一种社会性的评议机制,来进行持续性的跟踪研究。这有点类似于新产品投入使用之后的后续观察义务。如果社会评议机制有充分的理由,认定特定算法的运用,导致了不良后果,就应该启动相应的问责机制,要求相应的算法运营者予以解释与说明并作出相应的优化。再次,将责任机制覆盖至算法领域。在司法以及行政理念上,无论是法官还是行政执法者,都需要将算法的运用,作为算法运营者行为的延伸。无论运营者是否存在过错,是否存在行政违法等,算法因素都应被纳入追责的考量范围内。

  希望外卖骑手被系统所困的报道,引发的不只是人们对外卖骑手这个特定群体的关心,还有对我们正在日益进入的算法时代的深入系统思考,以及对建立相应算法规制体系的关注与研究。在这方面,我们还有很多工作要做。

  (作者系北京大学法学院教授,北京大学电子商务法研究中心主任)

(责编: 王东)

版权声明:凡注明“来源:中国西藏网”或“中国西藏网文”的所有作品,版权归高原(北京)文化传播有限公司。任何媒体转载、摘编、引用,须注明来源中国西藏网和署著作者名,否则将追究相关法律责任。