收藏 分销(赏)

以标准化实现算法透明研究.pdf

上传人:自信****多点 文档编号:4080551 上传时间:2024-07-29 格式:PDF 页数:7 大小:1.21MB
下载 相关 举报
以标准化实现算法透明研究.pdf_第1页
第1页 / 共7页
以标准化实现算法透明研究.pdf_第2页
第2页 / 共7页
以标准化实现算法透明研究.pdf_第3页
第3页 / 共7页
亲,该文档总共7页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、43STANDARD SCIENCE2024,No.4基金项目:本文系浙江省高校重大人文社科攻关计划项目资助的规划重点项目“算法商业秘密的法律治理体系研究”(项目编 号:2023GH077)的阶段性研究成果。作者简介:万文婷,硕士研究生,研究方向为知识产权法。彭飞荣,通信作者,法学博士,中国计量大学法学院(知识产权学院)教授,国家知识产权培训(浙江)基地副主任,研究方向为知识产权法、标准化法。摘要:算法透明作为对算法规制的重要方式,在国内外皆得到立法上的确认,但在司法实践中却因没有明确标准而面临隐私权、个人信息权以及商业秘密的抗辩和技术上的挑战,进而难以得到有效具体落实,因此有必要借助标准化手

2、段落实和完善算法透明。本文通过将法律上的实体权利与标准相结合进而保障算法透明落实,解决了本土化的算法备案制度所面临的困境从而为算法透明提供有效落实方式,明确了算法解释的适用场景,以算法解释填补算法透明难以满足的空白。关键词:算法透明,标准,算法备案,算法解释DOI编码:10.3969/j.issn.1674-5698.2024.04.008Research on Implementing Algorithm Transparency through StandardizationWAN Wen-ting PENG Fei-rong*(China Jiliang University Schoo

3、l of Law)Abstract:As an important way to regulate algorithms,algorithmic transparency has been recognized in legislation both domestically and internationally.However,in judicial practice,it faces challenges in defending privacy rights,personal information rights,and trade secrets due to the lack of

4、 clear standards,making it difficult to effectively implement them.Therefore,it is necessary to use standardization means to implement and improve algorithmic transparency.This paper combines legal entity rights with standards to ensure the transparent implementation of algorithms,solves the difficu

5、lties faced by the localized algorithm filing system,and provides an effective implementation method for algorithm transparency.It clarifies the applicable scenarios of algorithm interpretation and fills the gap of algorithm transparency that is difficult to meet.Keywords:algorithm transparency,stan

6、dards,algorithm filing,algorithm explanation以标准化实现算法透明研究万文婷 彭飞荣*(中国计量大学法学院)Research on Standard Application44标 准 科 学 2024年4期0 引 言在数字经济时代背景下,算法早已深入应用到各个场景领域,极大提升了数据处理的效率。早在域外的公共领域,美国就已经应用compas算法软件进行刑事司法分析,应用算法作为评估公民福利的救济机制;在国内的商事领域,各大网络平台利用算法预测客户行为,进行精准商业推送。算法应用的案例屡见不鲜,但其在提升工作效能和方便使用者的同时也引发了一系列问题,例如

7、:“大数据杀熟”“算法歧视”“算法茧房”等等,这些都逐渐成为人们关注的焦点。从法律角度来看,无论是欧洲的通用数据保护条例(GDPR)还是美国提出的算法责任法案,它们都在讨论如何规范算法的使用,并强调了“算法透明”这个关键性的监管准则1。在我国,电子商务法和个人信息保护法也涉及算法透明问题。算法透明作为针对算法不公的重要规制手段,虽在法律法规的顶层设计上作为指导性原则有着立法依据,但在司法实践上却面临如何落实适用的困境。此外,算法透明监管在现实中往往面临商业秘密的抗辩理由,域外如:美国康普斯案以算法涉及商业秘密而驳回被告诉请。在我国司法实践中“智搜公司控诉光速蜗牛公司等侵犯商业秘密纠纷案”标志着

8、算法商业秘密法律保护已经形成并开始实施,早有学者注意到算法透明与商业秘密之间的冲突关系,但是却鲜有提出在实践中的具体可操作性的机制建构2,3。因此,算法透明面对透明对象的适用范围、透明程度以及披露方式,在司法中仍面临诸多困阻。“算法透明度”作为人工智能领域的专业术语,本文认为“度”既可解释为有量化单位的程度,也可理解为广义上的标准。相较于依赖政府强行实施的硬法,标准的应用更倾向于采用柔性的方式来实现其目标,是一种软法。这包括各种形式的标准,如:国家标准、行业标准、地方标准或企业标准,它们各自在适用范围、有效性和彼此间的关系方面有所差异。标准可看作是法律规定和科技应用的结合,也是规制与自治之间的

9、衔接点和缓冲区,同时它在建立并优化算法规制机制上具有相当大的优势4,5。因此,在认识标准作为法律延伸的“软法”基础之上,有必要将其有效利用为一种重要规制机制,对算法透明进行深化,实现可操作化。1 算法透明与标准化1.1 算法透明与标准化概述我国电子商务法第三十三条明确规定了电子商业网站运营商应于网络主页面明显位置持续公布平台服务协议及贸易准则的信息或这些信息的链接标识,并且确保商家与顾客能方便阅读并获取它们,从而提高电商平台交易规则的透明度6。个人信息保护法第二十四条的第一款也指出,当使用用户数据做自动化决策时,必须保障决策过程中的可见性和结果的公允,同时第三款还说明如果这种基于大数据分析的结

10、果会对个人的利益产生重要的影响的话,那么他们就有权力去要求公司予以说明,这进一步强调了个人信息处理者自动化决策技术应用的算法透明度7,8。以此为基础,关于加强互联网信息服务算法综合治理的指导意见中提出了要推进算法透明的发展,约束企业的算法使用行为,在遵守平等正义基本理念的同时也要维护好公民的合法权益,从而促使算法透明的发展更加健康稳定有序9,10。互联网信息服务算法推荐管理规定(以下简称算法推荐规定)提到,提供算法推荐服务时应遵循公平公正、公开透明等原则,鼓励算法推荐服务提供者优化检索、排序、选择、推送、展示等规则的透明度和可解释性,以避免用户受到不良影响,并预防争议纠纷。此规定可视为我国首次

11、正式确立了算法透明原则,相较于欧盟以“数据赋权”为核心的算法规制体系下将算法透明释为“披露义务”,美国“行为规范”模式下将其理解为算法问责的前提,本文认为,我国所确立的算法透明原则更适合作为算法应用的合法性基础和数据主体的救济途径。而我国的司法实践也恰恰印证了这一观点。标准应用研究45STANDARD SCIENCE2024,No.4“许兴泉诉杭州阿里妈妈软件服务公司关于互联网服务的争议案”中,法庭指出:对于大数据分析的结果是如何得出的,也就是其算法逻辑的问题,这是一个不容忽视的待证事实,同时这也是一个合法性的证明过程。我们不能仅仅依赖于大数据的专业分析报告来进行司法评估。由于大数据分析涉及很

12、强的专业技术性,若不对其逻辑推理的过程进行司法审核,就可能导致用技术分析替代司法决策的情况发生,这将会威胁司法的威信。然而,对逻辑演算过程进行司法审查,也不能完全依靠法律判决去取代技术判定,因为这样可能会影响司法公正。1.2 算法透明实现的挑战1.2.1 法律挑战算法透明旨在理解算法系统背后运作的一般过程,以及算法系统产生个体结果的途径。基于这一目的,加之算法应用本就有复杂性、更新快、常变化、分领域的特性,所以算法透明面临着对谁透明需要不同程度透明度的现实情况。算法透明的价值即用公开披露信息来平衡权利,克服信息不相称的缺点,弥补地位不对等的缺陷。透明度的救济方式即赋予算法相对人相关信息,但不是

13、完整信息,因为透明度可能会暴露隐私和披露个人信息。在使用个人数据进行操作机器学习算法训练步骤时,“鱼缸型”透明可能会带来侵犯隐私权与个人信息权的问题11。另一方面,算法于企业而言,在其研发制作的过程中往往会付出大量的人力物力,并且算法本身就具有经济价值。算法是企业竞争优势的来源,任何披露都有可能会违背公司的利益,鉴于算法应用的合法性前提受算法决策影响的数据主体有权了解其运作方式,要求披露12。当前的主流形势便是将算法作为商业秘密加以保护,算法透明度的提高必然会对企业的市场优势造成威胁,更有甚者会造成算法商业秘密滥用的趋势。1.2.2 技术挑战算法透明需要挑战所有可能的偏见。通常情况下,在自动决

14、策的背后有机器学习算法,在处理数据时倾向于非常快速的学习。在这种情况下,保证透明度是一项非常复杂的任务。在解释基于算法的自主决策时,技术障碍的数量取决于算法的复杂度。从技术的角度来看,系统化的方法往往存在局限性,比如:随着人工智能系统越来越复杂,指令可能不受程序员的监督,因此通过查看系统的内部运行规则并不一定会理解和控制它,这必须与个人的认知程度以及社会因素相结合起来考虑。在处理可解释的算法时有可能实现依赖于源代码分析的“白盒”方法,这使得用户可以直接查看和理解它。但是当算法涉及到商业秘密,或者在更为复杂的情况下,便已经形成“算法黑箱”,此时基于人工智能算法的“白盒”方法是不可行的13,14。

15、然而“算法黑箱”的化解不能够依赖于对代码的分析,因此确保透明度是非常具有挑战性的,要解释复杂的算法系统也可能具有高度的自主性。1.3 以标准化手段实现算法透明的正当性正如前文所述,算法透明的落实仍旧面对诸多障碍与困境,本文认为在法律的顶层设计下,可以借助标准手段,形成法律与标准相结合的模式,以标准化落实算法透明。首先,标准的建构与算法系统之间的沟通本身就具有一定优越性。标准满足算法规制的环境要求,同时能够随着算法科技的发展而实时调整,具有灵活性。算法治理具有极强的技术性,适合技术标准发挥作用。然而,要在快速的变化过程中找到稳定性与适应性的平衡点,这是算法规制所面临的一个复杂挑战。相较法律规范而

16、言,标准制定的过程更为便捷高效,而且各种类型的标准可互相转换,这有助于适应算法科技的多变性。此外,算法推荐规定已经明确提出了关于算法标识与算法备案等相关标准化建设的规则,开辟了一种新的实施路径,也为其通过标准化方式推动算法透明提供了合法性依据15。孤立地讨论透明度无疑是有限的,倘若更清晰地将最佳实践和标准结合起来,这样就不需要特别依赖合作监管方法。对于算法问责制来说,透明度顶层设计的原则可以说是必要的,但还不够全面,目前学界已经呼吁推动算法透明标准体系建Research on Standard Application46标 准 科 学 2024年4期设,进而落实算法透明。以标准化落实算法透明是

17、未来发展的必然趋势。2 国外算法透明标准建构现状2.1 英国算法透明度标准解读2.1.1 算法透明的形式标准2021年11月,英国内阁办公厅中央数字与数据办公室(简称CDDO)发布了名为算法透明度标准的新法规,旨在提高政府机构在利用算法技术协助制定策略时的公开性和透明度。该标准在形式上做出了细致规范,内容包括:算法透明度数据标准;算法透明度模板和指南。其中算法透明度数据标准以清单形式列明算法使用者应当填写的内容和格式。算法透明度模板是算法透明应当公开内容的实例。指南是完成算法透明工作的流程指引。作为全球较早发布的算法透明度标准,算法透明度标准为公共部门保障算法透明度提供了具体指引。2.1.2“

18、以目的信息和技术信息为主要内容”的算法透明的实质标准首先,在算法透明适用范围方面,GDPR在某种程度上建立了一定程度的算法透明度。但仍然面临适用性有限的质疑,因为它只适用于“完全基于自动处理的决定”。这可能意味着,即使存在最低限度的人为干预,数据主体的“解释权”,以及GDPR第22(3)条的保障措施,都可能不适用。然而,尚不清楚这种“解释”是否应该为专门针对算法系统的功能,还是应该理解为影响决策的特定算法特征。此外,这些解释涉及不同的领域。根据GDPR第13(2)(f)条和第14(2)(g)条,数据控制者有义务在自动决策活动开始之前主动通知数据主体。同时,第15(1)(h)条通过授予随时访问自

19、动处理活动详细信息的权利,引入了事后解释。这些问题表明,算法透明度要求的简单存在并不能确保其按照实际情况顺利实施。这是由于技术问题,以及其他可能影响对算法决策背后原因的有效理解的法律障碍。然而,算法透明度标准 对适用范围做出了创新性扩大,适用的算法第一类是与公众直接互动的算法,即完全自动化算法,例如:聊天机器人;第二类是在技术规格、潜在公共影响和决策影响3个层面均满足一定要求的算法。其次,算法透明度标准明确了具体的披露信息并且给出示例。计算机软件作为著作权客体在判定侵权做实质性对比时,面对商业秘密的保护,不会披露源代码,仅以目的性代码作为对比,同样算法透明不要求披露核心数据,但是理应做出相关算

20、法公开。算法透明度标准还在不断更新,2023年,CDDO与CDEI联合发布了算法透明度记录标准,该标准是记录和共享公共部门如何使用算法工具的标准化形式。其内容涵盖了算法使用方式、算法工具负责主体、说明算法决策机制并对可能产生的风险及其潜在的影响进行分析等等。这一新规被视为国家数据发展策略的重要组成部分之一,有助于制定算法透明度的跨政府标准16。2.2 欧盟与美国落实算法透明的情况虽然欧盟商业秘密保护指令(以下简称指令)明确算法可以作为商业秘密进行保护,并且规定了披露义务,但是当GDPR明确规定的算法透明面对商业秘密抗辩时,指令并没有提供公共机构做出披露算法商业秘密决定所应遵循的任何标准。换言之

21、,当算法透明面对商业秘密挑战时,不仅算法透明度的决定权在指令范围之外,同时算法透明标准也没有明确。欧洲议会研究服务机构发布了一份名为算法问责及透明度监管框架的报告,这份报告深入探讨了算法应用对社会、科技以及监管方面的挑战,提出了构建一种算法影响力的评价制度,以实现风险防范并在未来更好地管理算法的使用17。2022年11月16日,欧盟委员会宣布数字服务法案生效。该法案采取算法问责和透明度审计等措施,要求在线平台应当公开推荐活动所依据的算法参数,提高算法透明度。此外,为落实数字服务法案,欧盟委员会新成立了欧洲算法透明度中心(ECAT),ECAT为欧盟委员会在算法服务法案规定的超大在线平台(vlop

22、)和超大在线搜索引擎(vlose)系统的独家监督和执行职责方面标准应用研究47STANDARD SCIENCE2024,No.4有义务提供科学和技术的相关专业知识,并针对算法风险评估提供新的透明度评估方法和最佳实践路径。再观美国,其以算法透明为问责制的前提,算法问责法案的规制对象几乎覆盖了美国所有的互联网企业。在算法透明原则性规定的基础上,进一步构建了算法影响性评估制度,明确对算法继续审查和问责。根据规定,算法自动化决策透明化的程度应结合算法的具体运用场景、处理个人信息的内容等进行相应的风险评级,并根据风险等级来考虑透明度的具体形式。算法影响评估制度也可以看作是海伦尼森鲍姆提出的场景公正(风险

23、)理论(contextual integrity)的具体落实18。美国鼓励行业自治,以使企业能够自主监控并阐释他们的算法行为。依据算法问责法案,美国的算法责任制度主要依靠外部的专家团体、组织及大众来监管与追责算法的行为。据此,Facebook于2018年创建了一个独立的审查委员会,该委员会的宪章详细说明了它的权限范围。3 完善以标准实现算法透明的路径建议3.1 以法律上的实质权利与标准相结合实现算法透明在网络安全法 个人信息保护法以及 数据安全法中,我们都可以看到法律借鉴了标准化的策略。当现代社会面临新兴技术挑战,而立法决策又缺乏有效的参考时,这种创新的治理解决方案:通过法律和标准共同作用便可

24、以提供相应的解决路径。2020年,我国五部门联合发布了 国家新一代人工智能标准体系建设指南,指出要将算法模块纳入标准化规范,强调了标准在人工智能发展中的支撑和引领作用19。同时,国际标准化组织如:ISO、ITU、IEEE等也已经开始在人工智能交互、图像处理、大数据等领域制定相关标准。尽管国内学者积极倡导行业自我约束,期望通过设定相关准则如“算法透明公约”来推动行业内各方遵守相应的规则并实施算法透明化,但目前我们国家尚无关于算法标准的公开与声明机制,网络公司很少透露他们的算法标准。所以,以标准作为手段实现算法透明便不能回避标准的现实效力问题5。首先,相较于英国算法透明度标准中标准既非质量标准,亦

25、非强制标准,也不符合数据标准的要求的质疑,我国标准化法第27条的标准自我声明公开制度便能回应这一质疑。其次,相较于法律所依赖的国家强制力,标准的运用更为灵活且易于执行。因此,我们可以把标准看作是诠释法律法规的方式之一,比如:像微软、亚马逊和阿里这样的国际企业,它们并没有直接依据GDPR来构建自己的云基础架构,而是实施了ISO针对GDPR所制定的ISO/IEC 27701等标准。因此,我们需要将这两者相互联系并整合在一起,顶层设计法律保障,以标准为落实方式,使得算法透明实现具有可操作性。3.2 完善本土化算法备案制度解决法律困境2022年3月1日,算法推荐规定 正式生效,提出了“算法备案”的新方

26、案。与英国的算法透明度标准相比,算法备案制度也是一项有中国特色的算法透明度治理的新举措。算法推荐规定对算法备案制度的义务主体、应备案的算法技术、算法备案的内容、算法备案的公示、算法动态备案都进行了明确的规定,同时,该规定还创新性地规定了违规备案的行政法责任。当前阶段,我国正处在算法推荐规定实行的第一步,尚未形成一致性的执行规范。因此,算法公开信息的详细与否完全由算法推荐服务提供者来决定。基于算法推荐服务者履行算法备案公示义务的标准和监管尺度,有必要在后续发展中进一步完善。针对算法备案的义务主体,未来应当进一步扩大,可以借鉴美国对私营产业领域和公共政府领域算法的区别规制。相较于英国在算法透明度标

27、准中针对的对象是公权力主体,我国算法备案的主体则是商事主体。算法透明度标准针对主体范围扩大是必然趋势,算法备案制度也亦然。未来对政府使用算法同样实施算法备案制度,以加强Research on Standard Application48标 准 科 学 2024年4期算法的透明性和公众接受度。3.3 以场景化算法解释克服技术障碍在克服算法黑箱的技术障碍的方法中,我们可以借鉴域外的解决方案,适用于GDPR要求的局部解释。通过对可能的输入进行抽样,计算出一个更简单的局部模型,并用于确定输入和输出之间的相关性,以及推导出原始决策过程的主要因素。其主要思想是,即使一个算法非常复杂,总体上难以解释,也有可

28、能提供可靠和可理解的局部解释。此外,“黑箱”方法下的另一种解决办法涉及反事实的解释。此方法评估特定因素的变化如何影响输出。例如:它可以用来评估一项决定的公平性,其依据是某一特定投入中的因素对该决定产生的影响。以这种方式提供解释是可能的,而不需完全披露内部逻辑算法。从这个意义上说,暴露敏感数据和侵犯权利的风险会小一些。密码学工具可能允许证明算法决策过程的属性,而不会泄露决策策略的细节。这可能是挑战自动生成结果可靠性的算法使用者的权利与算法所有者的利益之间的公平妥协,这样一来,算法所有者就不必披露源代码。此外,算法解释程度的不同也可以作为化解法律困境的一种方法,有限性解释、强制性披露和鼓励自愿披露

29、将有助于确保商业秘密所有者和公众的利益得到很好的平衡,并且只有在必要和相称的情况下才对商业秘密的保护进行限制。4 结 语算法在数字经济时代下被大肆应用,在某种程度上貌似跳脱了传统法律的可控范围,尤其在实践中算法已经可作为商业秘密被保护,为其可能产生的风险提供了逃避法律问责的理由。算法透明作为规制算法滥用、化解算法风险的重要手段,也不得不面对商业秘密的抗辩,从而面对限制与保护的僵局,难以得到进一步落实来规训算法权力,维护个人利益和社会公共利益。解决之道不仅在于调和算法透明与商业秘密保护之间的微妙平衡,更应有可供落实操作的规则方式。为此,可以在借鉴国外经验基础上,借助标准手段,在形式上应用算法透明

30、公开的标准模板,披露“以目的信息和技术信息为主要内容”的信息以保障公众知情权,引入算法影响评估机制,分析算法风险,以此作为公众使用前提。对于我国本土化的算法备案制度还可以在操作落实上进一步细化,统一执行标准并且扩大备案主体范围。此外,对算法解释框架进行系统性重构,可以遵循分类分级的整体布局个案分析下场景化适用不同解释手段,进而实现总体的解释效率和个案的解释正义。标准化路径巧妙地在算法透明落实与商业秘密保护之间找到了平衡,在今后算法透明落实操作的规则设计中也可借助标准手段展开。(下转第75页)标准应用研究75STANDARD SCIENCE2024,No.4中国能源研究会储能专委会,中关村储能产

31、业技术联盟.白皮书:储能白皮书2023R/OL.2023.Arizona Public Service.McMicken Battery Energy Storage System Event Technical Analysis and RecommendationsR.America:Arizona Public Service,2020.中国电力科学院研究有限公司.北京集美大红门25MWh直流光储充一体化电站项目事故分析R.北京:中国电力科学院研究有限公司,2021.曹文炅,雷博,史尤杰,等.韩国锂离子电池储能电站安全事故的分析及思考J.储能科学与技术,2020,9(5):1539-15

32、47.刘玉玲,李倩.国外标准化建设规律及其启示J.标准科学,2021(04):38-42.周军华,褚赓,陆浩,等.锂离子电池负极材料标准解读J.储能科学与技术,2019,8(1):215-223.梁裕铿,张学梅,万思成,等.锂离子电池正极材料标准现状分析及整合建议J.电池工业,2022,26(6):321-324.张美娟,王俪颖,张瑞芳,等.动力电池回收标准化建设的探索以新能源科技服务业试点服务标准为例J.中国质量监管,2020(12):70-73.许守平,胡娟,汪奂伶,等.电化学储能技术标准体系研究J.智能电网,2016(9):868-874.陈银,肖如,崔怡琳,等.储能电站锂离子电池火灾早

33、期预警与抑制技术研究综述J.电气工程学报,2022.17(4):72-87.褚维达,童杏林,冒燕,等.锂离子电池内部植入光纤光栅传感器存活实验研究J.激光杂志,2021,42(8):19-22.蒋皓静,刘卫,杨玉斋,等.消费型锂离子电池安全试验研究浅析J.标准科学,2021(6):92-98.白耀宗,王令,苏相樵,等.锂离子电池隔膜材料标准解读J.储能科学与技术,2018,7(4):750-757.1234 5678910111213参考文献梁志文.论算法排他权:破除算法偏见的路径选择J.政治与法律,2020(08):94-106.深圳市中级人民法院民事判决书(2021)粤03民初 3843

34、号民事判决书Z.彭飞荣.论算法作为商业秘密的侵权认定J.浙江社会科学,2023(06):47-56+157.柳经纬.标准的类型划分及其私法效力J.现代法学,2020,42(02):157-170.衣俊霖.数字孪生时代的法律与问责通过技术标准透视算法黑箱J.东方法学,2021(04):77-92.夏庆锋.网络合同中伪契约条款的排除J.经贸法律评论,2020(02):102-119.张凌寒.算法自动化决策中的女性劳动者权益保障J.妇女研究论丛,2022(01):52-61.丁晓东.基于信任的自动化决策:算法解释权的原理反思与制度重构J.中国法学,2022(01):99-118.靳雨露.算法披露的域

35、外经验与启示J.情报杂志,2022,41(07):91-99.田野.平台用工算法规制的劳动法进路J.当代法学,2022,36(05):133-144.李安.算法透明与商业秘密的冲突及协调J.电子知识产权,2021(04):26-39.李晓辉.算法商业秘密与算法正义J.比较法研究,2021(03):105-121.苏宇.算法解释制度的体系化构建J.东方法学,2024(01):81-95.宋伟,刘子荷.论算法黑箱的规制基于算法解释视角J.南海法学,2023,7(04):114-124.张韬略.软件源代码强制披露制度建构的中国方案J.东方法学,2023(03):176-187.张欣.算法影响评估制度

36、的构建机理与中国方案J.法商研究,2021,38(02):102-115.崔文波,张涛,马海群,等.欧盟数据与算法安全治理:特征与启示J.信息资源管理学报,2023,13(02):30-41.Helen Nissenbaum.Privacy as contextual integrityJ.Washington Law Review,2004,79(1):119-158.彭飞荣.论算法创作中涉数据的著作权侵权风险及其化解J.法律适用,2023(04):46-55.1234 567891011121314 15 161718 19 参考文献(上接第48页)Research on Standard Application

展开阅读全文
部分上传会员的收益排行 01、路***(¥15400+),02、曲****(¥15300+),
03、wei****016(¥13200+),04、大***流(¥12600+),
05、Fis****915(¥4200+),06、h****i(¥4100+),
07、Q**(¥3400+),08、自******点(¥2400+),
09、h*****x(¥1400+),10、c****e(¥1100+),
11、be*****ha(¥800+),12、13********8(¥800+)。
相似文档                                   自信AI助手自信AI助手
百度文库年卡

猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 学术论文 > 论文指导/设计

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服