大数据算法歧视的决策危机与风险防控_关金金.pdf

2023年第04期（2023年04月）No.04 202362黑河学院学报JOURNAL OF HEIHE UNIVERSITY以大数据作为支撑，算法决策作为引擎的大数据时代已经来临。大数据是算法的依托，算法是大数据的问题表达式，算法将零散孤立无交集的大数据，经过收集、提取、分析、统计、组织呈现，而大数据处理关键技术正是包含了大数据采集、大数据预处理、大数据存储及管理、大数据分析及大数据挖掘、大数据呈现和各个领域的应用(如大数据检索、大数据可视化、大数据应用、大数据安全等)。于是算法在云计算、大数据、人工智能时代下的影响力正逐渐放大，俨然成为人类在社会生活中各项决策的推手，引导人们去看指定范围新闻、购买其推荐的产品，决定着人们是否可以被批准贷款，帮助人事决定是否解聘或继续雇佣员工，分析下一季度的市场营销策略的可行性，评估着某类型犯罪的发生率等等各领域事件背后的数据是客观的，但算法是由人为设计的，这就不可避免的反映出算法设计者或算法客户的主观意识和隐含歧视，可以通过采取制定算法管理制度与法律风险防控体系为保证人工智能发展与大数据时代前进齐头并进，健康稳健前行保驾护航1。一、算法歧视的类型大数据专家舍恩伯格在大数据时代一书中提道：“大数据的特征是追求效率，而不是绝对精确；追求的是相关性，而不是因果性，在现代社会，大数据和算法结合已经颠覆了传统的决策方式”。不得不考虑，基于某算法的大数据运用是否具有正当性基础或伦理基础呢？其实除了伦理与公平问题的复杂性存在因素之外，更难突破的便是算法本身的专业性和不透明性。浸润了算法的大数据社会，在各领域、各群体、各行各业的应用中无不透露其歧视的本性。1.数据领域的算法杀熟大数据杀熟是指同样的商品或服务，老客户看到的价格反而比新客户要贵出许多的现象或会员用户的实际支付价格高于非会员用户，甚至在购买产品的数量和种类上受限，所呈现出大数据结果的背后，则是算法歧视在操作。其实不止在消费领域，在大数据环境下，人类行为只要被记录，就可能会被分析，被深度学习，被制订出“数字画像”，被贴上标签。而大数据背后的算法杀熟就是典型的针对用户群体制定的“千人千面”的营销策略，使群体被区别对待，从而主体利益受到损害，甚至隐私和名誉受到侵害2。2.特征群体间算法歧视这种类型下，算法决策者在个体间往往采用非歧视性算法，但是个体与个体因某类特征被划分成特征群体后，个体背后的数据集合在一起反而会导致歧视性的后果，这里有以人员性别和年龄要求为条件的招聘，本来是企业从自身工作岗位性质和工种考虑，但很可能会在社会特定行业范围中造成性别歧视和超年龄段人员招工恐慌的后果。这种特征群体间的联系比较隐蔽，即使性别和年龄范围是工作性质本身决定的，看似与人为干预无关，但产生此类歧视影响更为恶劣。3.行业经营的竞争不公此前，中国消费者协会根据用户投诉反映，消费者权益在算法应用在网络领域之后出现评价算法、排名算法和推荐算法等不公待遇，很多行业在大数据集基础上借助算法本身的技术难度性高、隐蔽性强的特征，有意扩大商家和消费者之间的沟通鸿沟，损害消费者公平对待权、自主选择权、隐私保护权和事实知情权，如网络购物平台折扣规则复杂、网络搜索竞价排名推荐、网络不实信息推送、网络评价被刷好隐差结果失真等行为已经严重违背了算法服务人工智能，服务人类社会生活的初衷，让消费者面临歧视对待，甚至造成其消费风险3。除了商家与用户这一对消费关系之外，在行业之间也时收稿日期：2023-02-28基金项目：2021安徽省人文社会科学研究重点项目“区块链技术在教育大数域中的应用研究”(SK2021A1092)作者简介：关金金(1985)，女，安徽肥西人，讲师，硕士，主要从事大数据技术与应用研究；卢敬孔(1981)，男，河南周口人，律师，硕士，主要从事公司法、合同法研究。doi：10.3969/j.issn.1674-9499.2023.04.018大数据算法歧视的决策危机与风险防控关金金1卢敬孔2(1.安徽工商职业学院，安徽 合肥 231131；2.安徽国有资本运营控股集团有限公司，安徽 合肥 230000)摘 要：大数据算法具有两面性：一方面，大数据技术的快速发展渗透到社会的各个领域，惠泽各方；另一方面，算法黑箱的不透明性、复杂性和隐蔽性给个人大数据、社会大数据和政府大数据也带来诸如算法杀熟、信息同质、交易不公等风险。立足国情，完善算法公正规范体系，健全算法风险法律防控，从而平衡科技创新与价值权益，使算法能客观公正地支撑大数据技术服务体系。关键词：大数据；算法歧视；决策危机；风险防控中图分类号：D922.8 文献标志码：A 文章编号：1674-9499(2023)04-0062-032023年第04期（2023年04月）No.04 202363管理研究时存在算法歧视下的竞争不公。Google利用PageRank算法计算出每个网页的价值得分，这个算法设计出来的基础是针对所有在Google Chrome上架的网页，但待Google Shopping上架后，谷歌优先排位自己的商品，给与更好更多的基于广告的搜索结果支持，影响了用户的对于搜索产品的价值判定，这无异在行业竞争中产生非公正垄断，让其他经营者的收益和名誉受损4。二、算法歧视的风险评估1.边界被模糊化：数据校准现实大数据时代的人们认为数据等同于信息，或者认为数据是当前时代对于信息表达最先进的方式，海量数据已经充斥、渗透到社会经济生活各个领域中，人类比以往任何一个时代距离其他人或世界更近，传统的信息存储工具、介质和空间、时间的要求已经被数据化存在所改写，于是线上与线下、网络与实体的边界日渐模糊。但数据从来都是通过被使用才能体现出其价值，算法则是数据的外在表达，定义着数据的使用规则，对数据重新编码，将零散的、毫无关联的非结构化或半结构化数据建立关联，于是算法让数据与产生数据的现实产生了差异，在算法经济的组织引导下，被资本所牵引走向市场竞争中，偏离现实，成为字符化的表征5。2.数据挖掘偏航：数据决策事实数据决策是利用字符化表征数据决定采取使当事人面临的事件按照预定的目标行动呈现令人满意的结果状态，经历提出问题、设立目标与评价指标、拟定行动方案、分析评估、优化方案、验证实施几个步骤，在应用管理过程中，数据决策往往要依赖于数据模型，模型是数据挖掘后的一种表现方式，数据挖掘是从大数据中通过算法寻找规律，揭示出隐含未知信息的过程，建模者一般依据挖掘存在的问题针对性地建模6。数据挖掘经历样本抽样选取、估计和假设检验，模式识别、搜索算法建模、机器学习的过程，借助与过程模型，来帮助实现挖掘步骤，无论是有指导的利用有效大数据建立起的对特性属性描述的模型，还是在所有属性中寻找可能关系的无指导数据挖掘模型，都避不开参与到大数据的处理整个过程，并且因应用领域的不同，选取统计的样本会不同，那么数据便不是数据本体，因决策的目的性而导航挖掘，是否能够真实反映事实本身便无法评价。3.客观公正隐藏：数据引导价值大数据最核心的价值体现在三个方面：一是对人类思维进步的社会价值，二是经济学收益提升的商业价值，三是行业技术发展的技术价值。大数据技术的普及与应用带来了商业的繁荣、生活的便利、经济的飞跃，这些为社会发展建设增色的画面无不透露着：数据改善生活，但在这建设成果背后，算法设计、平台开发、数据采集与处理、商家利益下的互联网生态组件对市场经济结构体系发出了挑战，算法就像一只看不见的手，体现的是算法设计者和实现者的意图，操控着数据和网络的规则，分配着数据资源，倾向大数据的使用者，正是这样利用算法的结果引导算法的用户，隐藏着数据的客观事实，体现出特定的社会利益结构体。三、算法歧视的溯本追源分析大数据处理过程之后，算法注入歧视的环节总结有三个方面，分别是大数据集的构建过程、机器学习的目标制定过程与特征选取和大数据标注过程，前面两个的操作者是大数据工程师，后面是标注信息者。大数据集是机器学习的基础，倾向于被主流牵引，如果构建之初缺乏代表性将不能客观反映数据背后的现实意义，那么算法决策就难免会有失公允，再者目标和特征者两个因素也容易受到黄金训练算法便利操作的影响；大数据标签的标注是算法是否决策达成的一个重要环节，决定算法会训练生成出怎样的数据模型，直接影响算法对大数据集的反应结果。1.算法本身负载价值作为人工智能技术机器学习核心支撑的算法除了提供技术服务支持，也体现了带有伦理性的价值观，在各行各业扮演着不同的角色和任务，它并非客观，往往在特定群体中蕴含着预设的价值立场，嵌入到大数据的采集、处理、分析、挖掘、呈现中，最终在算法输出中出现算法歧视的结果7。亚马逊公司在招聘时使用了本公司的一套“算法筛选系统”来筛选简历，开发小组利用500个算法模型识别50 000个在简历中出现的术语，训练算法在不能能力分配中的权重，但后期被路透社披露算法对男性应聘者有明显倾向，发现用来训练算法的简历数据本身就带有很强的性别偏好，算法本身就被负载了招聘性别倾向。2.数据集缺乏代表性大数据是海量数据的代称，而并非“全数据”，这也就说明大数据本身的不完整性，并且由于大数据采集技术手段、采集设备可靠稳定性、采集者技术水平、资金支持等因素影响，采集到的数据集可能跟算法设计者的预定设想大相径庭，造成数据集缺乏代表性、样本抽样选取不典型、数据中心体不明确等。同时，在对算法模型进行训练时出现无法对数据分布全局估计，或者模型被过度训练造成训练数据准备不足，导致模型过拟合的情形。3.目标特征训练偏差目标特征是机器学习的原材料，直接影响最终模型，算法是数据的特征表示，任何一种算法，能利用的特征越多，算法可供参考的信息就越多，准确性就会得到提升，但相应地，计算就越负责，需要搜索的数据空间就要更大，于是用来训练的数据在每个特征上就会变得稀疏，如利用朴素贝叶斯算法来对邮箱中垃圾邮件过滤，在算法模型建立时将单词选取为特征，那么这样的特征集可能高达数十万，并且模型选择的要求是尽可能地贴近样本真实分布，但训练样本地高拟合度不是理想选择，因为其最终会选取出最复杂高阶的模型，无法保证对样本真实分布泛化误差低的要求8。4.大数据标注黑箱化算法从接收指令输入到在有限时间内获得目标输出结果的全过程中，很多人并不了解其背后的存在，如果说各类智能设备利用计算平台和应用软件来收集记录数据，那么算法就是数据的管理者，按照设计者的思路对数据进行抽样和分析，连接数据和用户，用户仅获得数据的处理结果，表面上看，通过计算机程序输出的算法运作结果看似公正客观，实2023年第04期（2023年04月）No.04 202364管理研究则是忽略了技术提供的信息的透明性。ProPublica组织曾发现，亚马逊公司旗下的购物系统会偏袒推荐自己以及合作伙伴的商品，以低于其他商家产品的价格垄断市场，隐瞒商品运费信息，导致消费者得不到公正的商品比较结果。四、算法歧视的监督防控1.构建合理的算法价值规范体系大数据时代背景下，预防措施无法有效遏制算法设计者的歧视行为时，为避免对他人个人数据与权益造成侵害，可以通过构建合理的算法价值规范体系来健全人工智能相关的法律伦理，对数据算法进行优化公序良俗、道德法律，确定具有普遍正义的价值目标，清洗出数据库中敏感词汇，在坚持安全性、创新性的基础上制订长期规范战略，在市场监管部门配合下从软件产品、功能平台的源头上遏制歧视的苗头。2.建立专门的算法法律监督体制针对可能存在的侵权责任人不明确的法律风险，需要通过建立完善的法律监管制度进行改善，中华人民共和国民法典第一千一百九十四条规定：“网络用户、网络服务提供者利用网络侵害他人民事权益的，应当承担侵权责任。法律另有规定的，依照其规定。”第一千一百九十五条规定：“网络用户利用网络服务实施侵权行为的，权利人有权通知网络服务提供者采取删除、屏蔽、断开链接等必要措施。通知包括构成侵权的初步证据及权利人的真实身份信息。网络服务提供者接到通知后，应及时将该通知转送相关网络用户，并根据构成侵权的初步证据和服务类型采取必要措施；未及时采取必要措施的，对损害的扩大部分与该网络用户承担连带责任。”第一千一百九十七条规定：“网络服务提供者知道或者应当知道网络用户利用其网络服务侵害他人民事权益，未采取必要措施的，与该网络用户承担连带责任。”另外，中华人民共和国民法典第一千二百零二条规定：“因产品存在缺陷造成他人损害的，生产者应该承担侵权责任。”第一千二百零三条规定：“因产品存在缺陷造成他人损害的，被侵权人可以向产品的生产者请求赔偿，也可以向产品的销售者请求赔偿。产品缺陷由生产者造成的，销售者赔偿后，有权向生产者追偿。因销售者的过错使产品存在缺陷的，在生产者赔偿后，有权向销售者追偿。”产品生产者、销售者和使用者之间的责任范畴，更应在算法设计引发法律风险前，做好事前防范、事中监控、事后严管的监督体制。事前建立算法歧视风险预警机制，视具体事情情况划分法律风险等级，及时捕捉到风险的苗头，制订分析、评估等警示信息；事中严密监控算法应用情况，建立动态评价机制，针对产品或平台中算法的设计、优化、应用、评估进行全程动态评估，控制风险危害的程度和范围；事后，加强算法歧视侵权的惩戒力度，维护社会公众合法利益。监督的侵权责任主体之一算法设计者负有主动公开脱敏数据和解释算法技术原理的义务，恶意设计问题算法的设计者视产生的危害等级应当承担相应的侵权责任；算侵权责任主体之二法使用者在接受算法服务时，应防止数据泄露，不得不经算法设计者同意私自发生数据到网络平台做他用；侵权责任主体之三算法销售者是联系算法设计者与算法使用者的枢纽，他不得以己方私利，恶意收集公众信息，贩卖算法版权等危害其他两个责任主体的行为7。3.加强大数据集的信息保护力度首先，社会公众应加强个人信息的保护。用户大多在不知情的情况下，将运动轨迹、地理位置、购物习惯等数据公布在人工智能系统上，而系统背后的算法利用计算能力和逻辑分析能力，经过数据清洗、数据分析、数据挖掘等方式，绘制出个人用户画像，于是公民的身份信息、行为习惯、隐私名誉随时可能被泄露。为应对算法针对性地对用户歧视推荐和个别营销等侵害公众利益的情形，应完善个人信息保护的法治体系，强化公民安全防范意识，提高自我保护和尊重他人隐私的道德素养，明确用户的知情权、同意权等基本权利，在监管执法部门的配合下，建立信息保护的分层监管体制。其次，建立大数据审查与问责机制。保证数据来源、内容和去向有源可查，一查到底，在数据管理的周期内，考核数据内容的真实性、合法性、客观性，记录数据的应用过程、应用比例、应用算法、应用结果等，防止数据篡改、算法异变，从法律层面上明确大数据使用各方主体的职责与义务。最后，建立专业的数据监管保护机构，保障大数据的真实、客观，联动企业和政府建立专门的大数据保护机制，实现算法的公平、正义9。4.构建多元化参与决策治理格局欧盟通用数据保护条例中指出，数据行为的管理应当坚持行业主导，监管机构适度干预的理念。大数据的采集与处理、算法的表征与应用无不将政府、行业、社会公众紧紧联系在一起，应逐步将三者纳入算法歧视的治理体系中，界定各自的义务职责，形成政府监管、行业自律、公众参与的多元化治理格局。政府应出台算法歧视治理政策和歧视发生救济机制，努力提高公民的算法素养，打破行业算法技术垄断，缩小算法技术在设计者和使用者之间的鸿沟。行业是算法的设计者，应主动承担起社会算法公序，加强自律主动自查，制定算法设计、算法训练、特征选取等完善的流程，规范大数据处理过程，保护隐私数据，完成数据脱敏，保障数据真实、客观，避免算法歧视的出现；社会公众应以较高的算法使用素养参与到数据处理和算法表达中来，也应具备遭受算法歧视时的自我救济能力。五、结语在大数据领域，自然杂志曾用BIBO表示Bias In,Bias Out，也就是说：“(算法)偏见进，(数据)偏见出”。算法作为计算机机器学习的运作规则，其认知、表达方式与人类不同，人类一般根据结合抽象概念和具体情境完成思考给出判断，而算法则是数据问题式的属性权重表达，两者之间存在着不可避免的信息鸿沟，并且算法主观意图的呈现在各个领域中的渗透和嵌入，让算法歧视问题日益突出。数字化信息技术在社会经济生产生活各领域普及的今天，高效低成本地收集到民用、商用数据平台日常大数据，高质存储、高能输出、高明应用海量实时数据是大数据时代的天然能力，大数据这种新能源无线可能性的发挥应立足我国基本国情，注重(下转第 70 页)2023年第04期（2023年04月）No.04 202370管理研究管理，促进企业财务一体化，最终建立起内部管理网络体系，更加精细化，同时也更加立体化。促进众多企业的发展5。利用信息化技术实现基本的财务工作后，还需要把握好企业的经济来源、企业的各类投资风险等问题，更好地把握市场总体的发展情况，以此提前对市场未来走向进行大概判断，这样就可以使得企业的发展走在其他企业发展的前列。当前财务共享成为国际一大热点，企业的财务绩效管理对于企业的发展十分重要，因此财务共享中心的建立及其绩效管理受到很大重视。财务管理人员的专业知识需要非常完备，创新人才也是企业在现阶段发展所必需的人才，是企业财务管理效率提升的关键，创新人才是企业必须具备的人才。这样就能得出比较有代表性的财务数据，然后对企业的信息价值进行深入研究，对快速发展企业经济和长远发展起到促进作用。优秀的财务管理人员在信息化的发展时代下仍然具有很重要的作用，是不可缺少的一部分。此外，由于企业财务和绩效管理过于复杂，时间也相当长，资金管理的工作人员为了缩短资金运转时间，在企业不拖欠工程的情况下，需要及时核算资金在建设过程中的流转情况，及时完成每一项工作，对资金的运转帮助很大。如果建立了财务共享平台，企业在发展过程中可以减少很多工作程序，相关的工作人员也可以减少很多工作量，也可以减少一定的工作失误，提高准确性和效率。四、结语在市场经济不断发展的背景下，许多企业已开始利用信息化技术，通过构建财务共享服务中心来解决发展中的问题，提高绩效管理工作效率，发挥财务工作和绩效管理对企业发展的积极意义，推动财务绩效管理在企业高效运行，完善财务共享中心的服务作用，也为企业的长久、健康发展提供保障。同时，企业还可充分利用信息化技术，对企业内部的重要信息进行保密处理，由此创新财务管理和绩效管理，最终实现企业的稳定发展。参考文献：1时广军,张艳.国外财务共享研究:回顾与展望J.财会研究,2016(11).2吴杰,周维.财务共享服务中心绩效评价体系设计基于平衡计分卡与层次分析法J.财会月刊:绩效版,2015(5).3何瑛,周访.我国企业集团实施财务共享服务的关键因素的实证研究J.绩效研究,2013(10).4张庆龙,董皓,田春红.有效实施财务共享服务中心的绩效管理J.中国注册绩效师,2012(7).5张瑞君,陈虎,张永冀.企业集团财务共享服务的流程再造关键因素研究基于中兴通讯集团管理实践J.绩效研究,2010(7).Performance Management of Financial Sharing Center under the Guidance of Digital TransformationChen Wenjie(Dalian University of Finance and Economics,Dalian 116600,China)Abstract:In the context of digital transformation,the construction of financial sharing center has become a part of enterprise development.If an enterprise wants to develop better in the new era,it must understand the importance of financial management in the business process of the enterprise,and take scientific and reasonable measures to optimize the management level of financial performance.For that purpose,the establishment of a financial sharing center is the most effective management method for the enterprise to achieve long-term and stable development.In the era of big data,enterprise management needs to establish financial sharing center and performance management system by using digital information technology,and form the development of financial sharing center and performance management under the guidance of digital transformation.Key words:digitalization;financial sharing center;performance management 责任编辑：万红Decision Crisis and Risk Prevention and Control of Big Data Algorithm Discrimination Guan Jinjin1 Lu Jingkong2(1.Anhui Vocational College of Industry and Commerce,Hefei 23113,China;2.Anhui State Owned Capital Operation Holding Group Co.,Ltd.,Hefei 230000,China)Abstract:There are two sides to everything.It is the same with big data algorithms:on the one hand,the rapid development of big data technology permeates all fields of society,benefiting all parties;on the other hand,the opacity,complexity and concealment of black box bring risks to the big data relating individuals,the society and the government,such as algorithm killing,information homogeneity,unfair transaction,etc.Therefore,in line with national conditions,we should improve the algorithm fair and normative system,improve the legal prevention and control of algorithm risk,balance the scientific and technological innovation and value rights and interests,so that the algorithm can objectively and fairly support the big data technology service system.Key words:big data;algorithm;discrimination;risk management 责任编辑：万红平衡科技创新与权利保护，能够产生公平对待就业、理财、交易、裁决等众多社会领域的决策，在人权、种族、机会、财富、评价等方面维护社会公平正义，故应在法理上强调健全大数据算法歧视的法律制度体系，强化法规执法监管力度，实现算法歧视被透明化、算法黑箱被破除的有力举措，努力实现信息异质、交易公平、司法公正、就业平衡、隐私保护的美好社会生活。参考文献：1刘友华.算法偏见及其规制路径研究J.法学杂志,2019(6);王夙.人工智能发展中的“算法公开”能否解决“算法歧视”?J.机器人产业,2019(3).2闫文光.从数据角度治理算法歧视J.五邑大学学报:社会科学版,2020,22(1).3吴静.算法为王:大数据时代“看不见的手”J.华中科技大学学报:社会科学版,2020,34(2).4陶雪芹.大数据时代算法歧视的风险防控和法律规制J.河南牧业经济学院学报,2020,33(2).5Algorithms as Culture:Some Tactics for the Ethnography of Algorithmic SystemsJ.Nick Seaver.Big Data&Society,2017(2).6孙建丽.算法自动化决策风险的法律规制研究J.法治研究,2019(4).7崔靖梓.算法歧视挑战下平等权保护的危机与应对J.法律科学(西北政法大学学报),2019(3).8张帆.人工智能时代下算法歧视的法理分析和法律规制D.广州:广州大学硕士论文,2019.9Unpacking the Transparency-Secrecy Nexus:Frontstage and Backstage Behaviour in a Political partyJ.Ringel Leopold.Organization Studies,2019(5).(上接第 64 页)