2022隐私计算白皮书.pdf

边缘学习：隐私计算白皮书边缘计算产业联盟 ECC 安全工作组2022 年 6 月完成单位：北京大学清华大学华为技术有限公司国家工业信息安全发展研究中心中国移动通信有限公司研究院深信服科技股份有限公司奇安信科技集团股份有限公司绿盟科技集团股份有限公司亚信科技（中国）有限公司北京八分量信息科技有限公司东吴证券股份有限公司卡奥斯工业智能研究院（青岛）有限公司上海宝信软件股份有限公司主要完成人：沈晴霓、黄还青、方跃坚、李 琦、庞 婷、王冲华、孔 同、于 路、聂文静、古 亮、张 欢、乔思远、陈 磊、杨爱东、王 达、阮安邦、陈少伟、张之浩、张子华、林 宏、黄玉宝、陈骏林其他参与人：董佶圣、许浩然、黄 希、侯慧婷、曹 暾、汪钦霆、罗晟泽、李沛洋、信 伦、郭漫雪、李 征、孟宾宾、郑景中、刘 浩、于琳琳、吴墨翰、屈晋先、任栩萱、华仁杰、唐淑艳、孙 明、胡明臣、杜召娟、赵士超、代真虎、李 琳当前，个人数据隐私保护已经成为国际关注的重要问题，各国陆续推出隐私保护相关的法律法规和技术标准，如欧盟通用数据保护条例、美国统一个人数据保护法案、英国数据保障法案、我国数据安全法和个人信息保护法以及 ISO/IEC 国际标准信息技术-安全技术-隐私架构框架等，使得同态加密、秘密共享、茫然传输、混淆电路、零知识证明、差分隐私、群/盲签名、远程证明等成为保护个人数据隐私的基础理论和方法，并基于这些基础理论和方法逐步发展形成了以联邦学习、安全多方计算和可信执行环境三大技术为主的隐私计算技术体系。随着 5G、物联网、大数据、云计算、人工智能等技术的快速发展与应用，数据共享和联合建模的需求越来越迫切。近年来基于云的中心化机器学习技术进入发展的“快车道”，并且在计算机视觉、自然语言处理、大数据分析等众多领域获得成功应用。然而，基于云的中心化机器学习面临计算延迟大、可扩展性不足、数据隐私保护能力差等多重挑战。为了应对上述挑战，边缘学习的概念近年来被提出并受到了学术界和产业界的广泛关注。边缘学习是一种基于“云-边-端”层次化、分布式的计算架构，使得数据在数据源本地或者最近的边缘服务器上得到处理，用于训练本地的机器学习模型和进行模型推理，只需要和云中心通信必要的模型参数，大大减少了对云中心的依赖，降低了模型计算延迟，提高了可扩展性，保护了数据的隐私性。边缘学习是边缘计算实现边缘智能服务的核心内容，根据其分布式架构不同可分为以下三类。前言PREFACE终端设备学习：直接在终端设备上执行模型的训练与聚合；边缘服务器学习：将模型的训练与聚合都放到边缘服务器上，终端设备仅需发送数据与接收学习的结果，改善了终端设备算力不足的约束；云边端协同学习：通过将终端设备、边缘服务器和云中心智能地联合起来共同参与模型训练。事实上，边缘学习采取数据在就近边缘服务器/终端设备本地进行处理的方式，本质上就是隐私计算的一种实现方法。但是“云-边-端”架构的边缘学习模式对隐私保护的需求不同，包括：边端协同、云边协同、边边协同和云边端协同四种应用场景，每种场景下的边缘学习系统在数据、网络、计算和模型层面都会面临新的攻击，导致隐私泄露风险。而采用联邦学习、安全多方计算或可信执行环境等隐私计算技术保证边缘学习过程数据隐私性，需要对协同计算方之间交互的模型信息（如模型参数）进行加噪声（差分隐私）、加密（如同态加密、安全多方计算）等处理，会降低最终模型的精度、影响模型的收敛速度和学习过程的公平性和持续性。为此，本白皮书针对边缘学习中隐私计算需求与应用场景、风险与技术挑战、技术架构与关键技术、实践与案例分析方面展开论述，为学术界与产业界开展面向边缘学习的隐私计算技术方面的研究、实践和应用提供有益的参考和指导。第一章:边缘学习：基本概念、特征与分类011.1 边缘学习相关概念 021.2 边缘学习特征与优势 041.2.1 边缘学习特征041.2.2 边缘学习优势041.3 边缘学习技术分类 051.3.1 终端设备学习051.3.2 边缘服务器学习051.3.3 云边端协同学习06第二章：边缘学习：隐私计算需求与应用场景072.1 边缘学习：隐私计算相关法律法规与标准 082.1.1 边缘学习：隐私计算相关法律法规082.1.2 边缘学习：隐私计算相关标准092.2 边缘学习：隐私计算需求 112.3 边缘学习：隐私计算应用场景 122.3.1 主从式部署122.3.2 对等部署152.3.3 场景对比15第三章：边缘学习：隐私计算风险与技术挑战163.1 边缘学习安全风险 173.1.3 数据风险173.1.2 网络风险173.1.3 计算风险173.1.4 模型风险183.2 边缘学习技术挑战 193.2.1 模型精度193.2.2 学习效率193.2.3 激励机制20第四章：边缘学习：隐私计算架构与关键技术214.1 边缘学习：隐私计算架构 224.2 边缘学习：隐私计算关键技术 244.2.1 联邦学习244.2.2 安全多方计算244.2.3 可信执行环境254.3 边缘学习：隐私计算支撑技术 274.3.1 差分隐私274.3.2 同态加密274.4 边缘学习：隐私计算相关技术 284.4.1 可验证计算284.4.2 区块链服务28参考文献45第五章：边缘学习：隐私计算实践与案例分析305.1 奇安信案例 315.1.1 金融行业：面向小微企业的供应链金融风控方案315.1.2 医疗行业：面向疾病研究与辅助诊断方案325.2 深信服案例：云边协同恶意文件检测方案 335.3 亚信科技案例 345.3.1 客户管理领域：客户体验管理方案345.3.2 医疗服务领域：医疗场景智能推荐服务方案365.4 东吴证券案例：证券期货投资者的风险承受能力检测方案 395.5 海尔案例：工业互联网的网络安全与隐私计算解决方案 415.6 宝信案例：工业制造领域云边端协同的隐私计算解决方案 43第一章边缘学习：基本概念、特征与分类边缘学习：隐私计算白皮书02第一章：边缘学习：基本概念、特征与分类图 1-1 边缘学习架构图6边缘计算1,2,3,33：它是指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台（架构），它可以就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为联接物理和数字世界的桥梁，主要包括三类落地形态，云边缘、边缘云和边缘网关。边缘计算的技术体系涉及边缘原生、边云协同、边缘智能、边缘连接等独特技术能力，并涉及计算、存储、连接、云、视觉、人工智能等通用技术能力的应用。隐私计算4,34:它旨在确保处理和分析计算数据的过程中能保持数据透明、不泄露、无法被计算方以及其他非授权方获取，即在提供隐私保护的前提下实现数据价值挖掘的技术体系，包括差分隐私、同态加密、安全多方计算、零知识证明、可信执行环境、联邦学习等技术，根据具体的实现功能，又主要分为三大类：在不公开数据的情况下执行本地分析与处理（如联邦学习，具体见 4.2.1）、在处理之前转换数据和/或算法（如安全多方计算，具体见 4.2.2）、提供可信的安全隔离环境来执行和处理（如可信执行环境，具体见 4.2.3）等。联邦学习5,28：它是隐私计算的一种主要实现技术，旨在建立一个基于分布数据集的联邦学习模型。联邦学习包括两个过程，分别是模型训练和模型推理。在模型训练的过程中，各方的模型相关信息（如模型参数）能够（以明文、加干扰或加密等形式）互相交换，但参与训练的数据不能直接交换，以保护各方数据的隐私性。已训练好的联邦学习模型可以部署在联邦学习系统的各参与方，也可以部署在多方之间实现协同共享。当模型推理时，各方模型可以应用于同一数据实例（如不同医院对同一病历的诊断），各方将协作进行预测。联邦学习需要有一个公平的价值分配机制来分配协作所获得的收益，即设计有效的激励机制来保证联邦学习过程的可持续性。根据联邦学习的网络架构，它分为需要协调方的分布式联邦学习和无需协调方的对等联邦学习两种方式，前者是各参与方使用各自的数据训练本地模型，再由协调方将收到的各方模型进行聚合，后者则是各参与方在本地训练之后无须借助第三方便可以直接与其他参与方通信以进行模型的更新和聚合。边缘学习2,3,4：它是基于“云-边-端”层次化、分布式的计算框架，在边缘层进行模型训练与模型推理的过程，如图 1-1 所示。一方面，它可以使得数据能够在数据源本地（如：边缘服务器或者终端设备）得到处理，用于训练本地的机器学习模型，从而保护数据的隐私性；1.1边缘学习相关概念云数据中心深度学习因特网边缘服务器边缘服务器深度学习深度学习边缘设备终端设备边缘学习：隐私计算白皮书03第一章：边缘学习：基本概念、特征与分类另一方面，边缘服务器也可以通过将本地模型相关的信息（如模型参数）与云计算中心或者直接与其他边缘服务器（以明文、加干扰或加密等形式）相互交换，进行模型更新和聚合，最终得到一个全局模型，并使得云计算中心和其他边缘服务器都不能够猜测到其本地的隐私数据内容。已训练好的模型可以部署在边缘服务器，为终端设备和用户提供模型推理的智能服务。如图 1-2 所示，边缘学习是边缘计算实现边缘智能服务的核心内容。其中云边端协同（云边协同、边端协同、边边协同）计算模式下的边缘学习可以实现基于层次化/对等分布数据集的隐私计算，包括基于联邦学习、安全多方计算和基于可信执行环境的隐私计算；同时，边缘学习采取数据在就近边缘服务器/终端设备本地进行处理的方式，为实现基于联邦学习的隐私计算提供了基础保障。图 1-2 边缘学习相关概念之间关系图边缘计算隐私计算边缘学习安全多方计算联邦学习可信执行环境边缘学习：隐私计算白皮书04第一章：边缘学习：基本概念、特征与分类1.2边缘学习特征与优势1.2.1 边缘学习特征数据层面数据异构性：在边缘学习系统中，不同应用场景（如工业边缘、企业/IoT 边缘、电信运营商边缘等）均部署多样化的物联网传感器、移动终端、可穿戴设备等，它们会产生不同规模、不同类型（如声音、图像等）的数据。2非独立同分布：在边缘学习系统中，不同设备的数据通常由不同用户产生。非同源数据往往具有不同的分布特征。同时，边缘学习强调在局部范围内完成数据训练。在局部范围内，不同用户/传感器之间的数据往往具有依赖关系。3设备层面计算资源差异大：参与边缘学习的设备计算资源差异较大，通常云服务器具有较大的算力和网络带宽，但是边缘服务器（如：边缘网关）和终端设备（如传感器、智能手机等）通常只具有很有限的存储、计算能力和通信带宽。计算环境异构性：在边缘学习系统中，边缘计算产品需要考虑适配各种条件约束（如防电磁、防尘、防墨、抗振动、抗电流/电压波动等），支撑行业数字化多样性场景，所以不同场景约束下的边缘计算设备通常采用不同的软硬件集成与优化技术，使得它们的计算环境呈现较大的异构性。3模型层面学习时间差异大：由于参与边缘学习的各设备计算资源差异大和计算环境异构，很可能导致不同设备的本地模型训练/预测的时间产生较大的差异。5模型精度差异大：在边缘学习系统中，由于参与边缘学习各设备的数据来源和数据规模不同，很可能造成不同设备上模型之间的精度有较大的差异。通信/同步开销大：在边缘学习系统中，边缘计算的实际部署天然具备分布式特征，通常由大量不同的设备（如智能手机、自动驾驶汽车、传感器、可穿戴设备、边缘服务器和网关等）之间的多种复杂通信协议构成，很可能造成云边端协同学习需要进行大量的通信和同步，使得边缘学习的效率变差。61.2.2 边缘学习优势高效学习由于边缘学习使得数据在数据源本地或附近尽快得到处理，避免了在网络上传输大量的数据，或者仅需与云/其他边缘服务器进行少量的通信，大大降低了训练延迟6，所以基于多数据源的边缘分布式学习比基于云的中心化学习更加高效。隐私保护由于边缘学习是在数据源本地或者就近的边缘服务器上进行分析和处理，用于训练本地的机器学习模型6，所以边缘学习天然就具有一定的隐私保护能力。多方协同由于边缘计算环境支持云边协同、边边协同等计算模式2，所以边缘学习天然就支持协同学习，能够利用异构分布的计算设备协同训练模型。差异学习边缘计算场景下不同设备上的数据往往是非独立同分布的，而且不同设备可能产生不同类别的数据（声音、图像等），所以边缘学习过程参与的各个边缘服务器能够利用不同规模、不同类型、非独立同分布的数据集进行差异化学习3。边缘学习：隐私计算白皮书05第一章：边缘学习：基本概念、特征与分类边缘学习：基本概念、特征与分类1.3边缘学习技术分类1.3.1 终端设备学习终端设备学习是指直接在终端设备上执行神经网络模型学习过程，目的是减少终端设备与边缘服务器之间的运行延迟、并减少终端设备上隐私数据的泄露风险。这类边缘学习架构需要提供资源受限的终端设备上的模型设计、模型压缩和硬件加速三种技术。模型设计：在把深度神经网络部署在算力和内存资源受限的设备上时，从设计层面减少神经网络的参数数量，以实现在满足高精度要求下，减少内存和执行延迟。当前常见的轻量级神经网络模型有 MobileNets6,Solid-State Drive(SSD)7和 YOLO 模型8等。模型压缩：对原始模型以最小的精度损失来进行压缩，是在资源受限的终端设备端启用深度神经网络的另一种方法。目前流行的压缩方法有参数剪枝和知识蒸馏等方式。硬件加速：供应商整合现有的硬件资源（GPU、CPU等）以加速深度学习；另外有专门用于深度学习的集成电路（ASIC），如谷歌的 TPU9，ShiDianNao10；同时还提供了软件开发工具，以令硬件的加速效果发挥到极致。1.3.2 边缘服务器学习将原属于终端设备端的所有神经网络学习都放到边缘服务器上，终端设备仅需发送数据与接收学习的结果，目的是解决资源受限的终端设备无法支持实时性要求高的大型神经网络计算、而放在云端计算又无法支持低延迟需求的问题6。这类边缘学习需要增加数据预处理和多任务资源管理两种技术。数据预处理：终端设备向边缘服务器发送数据前，先进行轻量级的数据预处理，能够避免传输冗余的数据，从而减少通信时间。例如，边缘服务器只对发生了变更的数据执行计算，如果未检测到任何更改，将在终端设备上本地计算（预处理），提高了边缘学习的效率。多任务资源管理：当神经网络在边缘服务器运行时，对来自多个终端设备的任务需要进行有效的资源管理，以保证他们能够同时运行，并在准确性、延迟、服务吞吐量等指标之间寻找到平衡点。例如，利用迁移学习技术处理多个请求，能够使多个请求任务共享神经网络的低层计算，每个请求任务只需特化计算其任务对应的少数高层计算，从而提高多任务边缘学习的效率。边缘学习根据体系结构的不同，分为终端设备学习、边缘服务器学习、云边端协同学习三类。边缘学习：隐私计算白皮书06第一章：边缘学习：基本概念、特征与分类1.3.3 云边端协同学习尽管边缘服务器可以加速神经网络处理效率，但并不总是需要将终端设备的计算放到边缘服务器上执行，而是可以使用智能协同技术，即根据硬件算力、模型分层、数据大小、网络延迟和带宽、隐私要求等诸要素，将终端设备、边缘服务器、以及云智能地联合起来共同参与计算，实现云边端协同，优化学习效率和增强隐私性。这类边缘学习架构需要提供计算迁移、模型分离、云边协同和边边计算四种技术6。计算迁移：计算是否从终端设备迁移到边缘服务器或者云上，主要取决于设备上数据的大小、硬件功能、要执行的神经网络模型、网络传输质量等诸多要素。例如，强大的神经网络模型学习任务将迁移到边缘服务器上执行，而较弱的模型学习将在终端设备本地执行。模型分离：利用神经网络的分层的特点进行模型分离，一些层在终端设备上计算，一些层在边缘服务器或云上计算。此外，神经网络还可以按照输入的维度进行分离，允许细粒度分区。然而，按输入划分可能会导致数据依赖性增加，因为计算后续神经网络层需要来自相邻分区的数据结果。云边协同：在不违背任务的实时性条件下，合理使用云端的强大计算资源能减少处理时间。通常，边缘服务器接收终端设备输入的数据，计算神经网络模型的底层，然后将中间结果发送到云，云计算更高层后，将最终结果发回给终端设备。在这种结构下，云可以帮助处理计算量大的请求，并提高边缘服务器的请求处理率，同时减少边缘服务器和云之间的网络流量。边边协同：上述方法主要考虑将终端设备计算迁移到其他功能更强大的边缘服务器或者云上计算，边边计算架构将主要考虑将神经网络计算任务分布在多个对等终端设备/边缘服务器构成的主从结构上，可以在线调整从设备的数据分配，并同时考虑计算资源的可用性以及网络条件的动态变化。第二章边缘学习：隐私计算需求与应用场景边缘学习：隐私计算白皮书08第二章：边缘学习：隐私计算需求与应用场景2.1.1 边缘学习：隐私计算相关法律法规近年来，随着大数据、人工智能、物联网等新兴技术的发展和普及，原有技术定位和边界正在被加速打破并重置，全球多个国家和地区进入以数据要素为基础的数字经济新阶段。然而，商业模式和数据处理行为方式的不断发展变化，给数据在全球范围内的使用提出了严峻的挑战。全球众多国家及地区制定了个人信息和数据保护方面的法律法规，其中和面向边缘学习的隐私计算相关的法律法规如表 2-1。表 2-1 隐私计算相关法律法规情况2.1边缘学习：隐私计算相关法律法规与标准分类法律法规名称发布时间发布单位简述国际法律法规通用数据保护条例（General Data Protection Regulation，GDPR）2018欧盟全球最严格的个人隐私保护和数据安全法规，该法规对企业违法个人隐私保护和数据安全的问题制定了严格的处罚条款。数据保护法案 2018（Data Protection Act 2018，DPA2018）2018英国DPA2018 对个人数据的处理作出了规定，专员在执行 UK GDPR 和 DPA 2018 规定的职能时，必须考虑到确保个人数据得到适当程度保护的重要性。统一个人数据保护法案(Uniform Personal Data Protection Act，UPDPA)2021美国为美国各州提供了统一的数据保护法案。这意味着美国各州可以采用该法案，也可以由本州立法。该法案确立了个人数据保护的重要地位，明确提出了数据处理相关禁止性行为。此外，该法案规定了数据控制者和处理者的义务、数据主体权利、数据保护评估要求、私人诉讼权以及相关执法机制。欧盟 AI 法规（提案）（AI Regulation）2021欧委会采用欧盟法律效力最高的文件形式之一，要求建立数据治理体系，评价数据质量，其中，Article 10 要求高风险人工智能系统要有一定的数据治理、风险管理，要求对 AI 训练/验证/测试数据集进行缺陷评估；Article 12 提出高风险 AI 系统应提供必要的日志信息和自动生成日志的能力，确保可追溯；Article 61 规定供应商应在 AI 系统上线后需要有效地方法收集系统安全信息，并评估其他风险的可能性等多项要求。边缘学习：隐私计算白皮书09第二章：边缘学习：隐私计算需求与应用场景分类法律法规名称发布时间发布单位简述国内法律法规网络安全法2016十二届全国人大 常 委 会 第二十次会议对网络运营中涉及的个人信息保护做了原则性规定，其中第四十二条规定：网络运营者不得泄露、篡改、毁损其收集的个人信息；未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定个人且不能复原的除外。民法典2021第十三届全国人民代表大会第三次会议为个人信息保护提供了基础依托。民法典总则中明确自然人的个人信息受法律保护。任何组织或者个人需要获取他人个人信息的，应当依法取得并确保信息安全，不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。数据安全法2021十三届全国人大 常 委 会 第二十九次会议将“促进数据开发利用”作为立法目的之一，对数据处理的概念进行了定义，包括数据的收集、存储、使用、加工、传输、提供、公开等。数据安全法从数据安全与发展、数据安全制度、数据安全保护义务、政务数据安全与开放、法律责任等方面展开，提出了数据分类分级保护制度、出口管制、数据安全审查制度及数据交易管理制度。个人信息保护法2021第十三届全国人民代表大会常务委员会第三十次会议从个人信息处理规则、个人信息跨境提供的规则、个人在个人信息处理活动中的权利、个人信息处理者的义务、履行个人信息保护职责的部门等多个层面设计和建构个人信息保护框架，整体上对个人信息提供了高标准保护。2.1.2 边缘学习：隐私计算相关标准目前，从 ISO、IEEE 等国际标准组织到全国信息安全标准化委员会（TC260）、中国通信标准化协会（CCSA）等国家、行业标准组织均致力于制定数据和隐私保护相关的标准，其中和面向边缘学习的隐私计算相关的国内外标准如表 2-2所示。边缘学习：隐私计算白皮书10第二章：边缘学习：隐私计算需求与应用场景表 2-2 隐私计算相关标准情况分类标准名称发布时间标准编号简述国际标准信息技术-安全技术-隐私架构框架2018 ISO/IEC 29101该标准可以为处理个人数据的信息系统提供架构图，并展示隐私增强技术如何增强安全计算，以保护个人身份信息。隐私增强数据去标识化术语和技术分类2018ISO/IEC 20889该标准描述了数据去标识化技术，包括各种基于噪声的技术，加密技术等。信息技术-安全技术-秘密共享-第 1 部分：通用2016ISO/IEC 19592-1该标准重点介绍了秘密共享的模型和相关术语。联邦机器学习参考框架和应用指南2020IEEE P3652.1该标准定义了联邦机器学习框架，允许在分布的数据所有者之间构建数据模型，为跨组织的数据使用和模型构建提供了参考。基于可信执行环境的安全计算2020IEEE P2952该标准提出了基于可信执行环境的安全计算技术框架，用于指导基于可信执行环境的安全计算系统的设计、开发、测试和维护。基于 TEE 的共享机器学习技术框架和要求2021IEEE P2830该标准定义了基于 TEE 技术的共享机器学习的框架和体系结构，包括功能组件、工作流程、安全要求、技术要求和相关协议。安全多方计算推荐实践2021IEEE 2842该标准提供了安全多方计算的技术框架，包括基本要求、可选要求和安全模型、系统角色以及工作流程、部署模式等，并给出了具体实现案例。国内标准个人信息安全规范2020GB/T 35273该标准从收集、保存、共享、使用、转让、委托处理等各环节提出了相应要求，并提出了与组织相关的管理要求。个人信息去标识化指南2019GB/T 37964该标准给出了个人信息去标识化的目的、原则、过程和管理措施，在附录中系统性地总结了去标识化技术，并给出了案例。附录中明确了同态加密、秘密共享、差分隐私等作为去标识化的技术。个人信息安全影响评估 指南2020GB/T 39335该标准给出了安全影响评估的基本原理和实施流程，并在附录中给出了个人信息处理目的变更前的评估、个人信息匿名化和去标识化效果评估、个人信息共享公开前的评估等多个场景的评估要点。行业标准基于可信执行环境的安全计算系统技术框架待发布讨论中该标准定义了基于可信执行环境的安全计算系统的框架、功能、技术特性和安全要求。没有限制可信执行环境的实现形式。基于安全多方计算的隐私保护技术指南待发布讨论中该标准提出基于安全多方计算的隐私保护技术指南，以指导相关方设计实现、开发测试、运营管理和使用，包括架构、通用流程、安全等级、场景及解决方案。团体标准联邦学习金融行业应用指南2020T/ZFIDA 0004该标准定义了金融行业联邦学习应用的要素、要素关系、流程与基础要求。边缘学习：隐私计算白皮书11第二章：边缘学习：隐私计算需求与应用场景2.2边缘学习：隐私计算需求边缘学习是边缘计算与人工智能结合的产物，与传统的集中式云计算相比，边缘学习的主要特点是分布式学习，强调将计算和处理能力从云端数据中心下沉到网络边缘，并通过智能实体（如：边缘网关）执行数据的计算和分析任务。边缘学习的训练数据通常来自边缘侧的终端和设备，如，用户手机终端数据、企业的生产现场数据、传感器上存储的用户的生理指标数据、行为数据等。这些往往是用户的隐私敏感数据，传统的将数据上传至云计算中心的方法将增加用户隐私数据泄露的风险，因此，隐私保护是边缘学习在分布式训练和模型推理过程中的重要需求。同时，边缘学习中数据在边缘侧处理的机制也为数据隐私保护提供了更加直接和便利的条件，但是边缘学习并不总是需要将终端设备的计算放到边缘服务器上执行，而是可以使用智能协同技术，即根据硬件算力、模型分层、数据大小、网络延迟和带宽、隐私要求等诸多要素，将终端设备、边缘服务器、以及云智能地联合起来共同参与计算，实现“云-边-端”协同。“云-边-端”协同计算涉及的设备种类、规模和用户群体复杂、调度管理机制和计算环境复杂，将引入许多新的隐私泄露风险，比如恶意参与方、成员推理攻击等。目前，联邦学习、安全多方计算、可信执行环境等隐私计算技术将有助于在保护用户数据隐私的前提下在边缘层完成机器学习、深度学习和统计分析等任务，具有广阔的应用前景。边缘学习：隐私计算白皮书12第二章：边缘学习：隐私计算需求与应用场景2.3边缘学习：隐私计算应用场景隐私计算的架构与实际的应用场景密切相关。根据实际应用需要，结合边缘计算“云-边-端”结构，可以将面向边缘学习的隐私计算框架分为主从式部署和对等部署，主从式部署包括边-端协同、云-边协同和云-边-端协同等部署，对等部署主要指边-边协同或者端-端协同部署方式。2.3.1 主从式部署2.3.1.1 边-端协同部署在边缘计算的一些实际应用场景中，由于数据量较大和保护用户隐私的需要，终端节点的数据不能离开本地集中到中央服务器。因此，需要在用户与服务方之间增加边缘节点，部署边缘计算平台，将部分数据处理、行为检测任务下沉到边缘节点，如：在慢性病管理、健康管理等场合，其基本的工作流程是通过智能可穿戴传感器设备等对用户进行生理指标、运动情况、生活规律等参数的监测，服务方根据监测结果给用户提供疾病预警、锻炼方案制定和饮食习惯调整建议等服务。以及在用户认证场景下，通过采集用户手机上传感器数据以及人脸、指纹等数据，建立用户身份匹配模型，对用户身份进行认证。在慢性病管理应用中，为提供精准的服务，需要基于用户的数据构建依据生理、行为指标进行疾病预警、锻炼和饮食建议的模型。由于用户健康、行为等数据的隐私性，数据不能离开本地，因此，可以在云-边-端系统中引进隐私计算机制（比如联邦学习机制），在保护用户隐私的条件下完成建模。在上述场景中，终端侧包括监控用户生理、行为指标的设备，如：血压计、血糖仪、计步器等，采集到的监测数据一般存储在手机、平板电脑等设备上。由于用户数据不能离开本地，因此，联邦学习系统的建模节点必须部署在用户的本地设备上。手机、平板电脑等具备通信能力和一定的计算能力，可以承担利用本地数据建模以及通信的任务。这样，用终端节点作为建模节点，边缘节点作为协调节点与其下辖的终端节点一起完成联邦学习任务，这里的联邦学习为边缘节点+终端节点的部署架构（如图 2-1）。为加强数据隐私保护，还可以在边缘端部署区块链，构建与区块链相结合的联邦学习系统12,13。边缘节点+终端节点的隐私计算架构主要应用于隐私保护要求较高、数据不能离开数据源本地的场景，这里要求终端节点有一定计算能力。这种场景下，边缘端作为协调节点，可以得到其下辖的终端节点的数据联合构建的模型，这些模型上传到云端，根据云端的统筹安排，用来指导相关的建模节点用户。图 2-1 隐私计算：边-端协同部署框架边缘侧终端侧云端联邦学习系统.全局模型更新广播全网模型更新广播节点n本地模型梯度上传节点1本地模型梯度上传边缘学习：隐私计算白皮书13第二章：边缘学习：隐私计算需求与应用场景2.3.1.2 云-边协同部署当前，运营商正在港口、采矿、钢铁、制造和交通等各行各业进行 5G 示范建设，基于 5G 的边缘计算技术是运营商面向垂直行业开展业务的有力武器。基于边缘计算的 2B 业务，包括生产作业场景的视频监控、设备故障诊断、产品无人质检、无人机巡检等等，其基本流程均为终端采集数据，传输给边缘节点，由边缘节点根据云端发布的模型和规则进行数据处理、识别分类、决策及生成处理方案，发布给终端节点，完成闭环的工作流程14,15,16,17。这类业务中，边缘计算平台部署在靠近工业园区的网络边缘，大多数应用有数据不出园区的需求。因此，将各园区的数据汇聚到云端建模首先受到隐私保护的限制；另一方面，海量的园区数据汇聚也存在通信负荷过重、图 2-2 隐私计算：云-边协同部署框架网络安全等问题，联邦学习是解决这一问题的有效途径。在上述应用中，数据隐私的要求是不出园区，由于可以在每个园区部署一个边缘节点，因此，数据离开数据源本地，传输到边缘节点就满足了不出园区的要求。这样的场景中，端节点常常比较简单，如：只是一个摄像头和通信模块，没有计算模块，不方便在端节点进行模型训练。这时，可以用部署在园区的边缘节点采集本地数据，作为建模节点，云端作为协调节点和模型应用管理节点，与边缘节点一起构建联邦模型。云端将构建好的模型发布给边缘节点，由边缘节点负责处理终端节点上传的数据，并生成处理方案，发给终端节点。云-边协同的隐私计算系统部署如图 2-2 所示。类似的架构也可以用于车联网18,19、交通视频监控20等场合。终端侧联邦学习系统云端.边缘侧全局模型更新广播全网模型更新广播节点n本地模型梯度上传节点1本地模型梯度上传边缘学习：隐私计算白皮书14第二章：边缘学习：隐私计算需求与应用场景图 2-3 隐私计算：云-边-端协同部署框架2.3.1.3 云-边-端协同部署对于终端节点具备一定的计算和通信能力的应用场合，如：2.3.1.1 中的健康管理场景、车联网智能化场景等，为实现更加高效的联邦建模，可以采用基于边缘计算系统云-边-端结构的三层联邦学习部署架构21,22,23，如图 2-3 所示。在这个部署中，云、边、端联合完成建模及推理，可以根据实际应用场景设计不同的协议，以降低通信开销和计算负荷。如，首先由端侧和边侧联合完成本地模型训练，然后由云端进行参数聚合21；端侧完成本地模型训练，边缘侧作为中继，接收其下辖的终端上传的模型参数，做初步的聚合；在边缘侧做若干轮的迭代后，各边缘节点将迭代的结果上传给云端，再做聚合，生成整体模型23等等。这种架构适用于终端节点具备一定的计算和通信能力，能够完整或部分执行本地建模工作。终端侧联邦学习系统云端.边缘侧节点n本地模型梯度上传节点1本地模型梯度上传全局模型更新广播局部模型更新广播局部模型更新广播节点n本地模型梯度上传节点1本地模型梯度上传局部模型更新广播局部模型更新广播全局模型更新广播边缘节点n本地模型梯度上传边缘节点本地模型梯度上传终端侧.边缘节点1边缘节点K边缘学习：隐私计算白皮书15第二章：边缘学习：隐私计算需求与应用场景表 2-3 不同类型隐私计算部署框架的比较2.3.3 场景对比类别部署模式主节点主要优势适用领域局限性隐私计算的主从式部署框架边-端协同部署边缘服务器作为主节点保护隐私，数据不出本地；节省带宽资源终端侧数据有较强的隐私保护需求，并具备一定的计算能力和通信能力。如：健康管理、电信行业精准营销等不适合终端侧计算及通信能力较弱的场景云-边协同部署云服务器作为主节点保护隐私，数据不出园区；节省带宽资源数据可以离开本地汇聚到边缘节点，可以用于生产作业场景的视频监控、设备故障诊断、产品无人质检、无人机巡检等受限于边缘侧与云端的通信带宽云-边-端协同部署云服务器作为主节点降低通信开销和计算负荷终端节点具备一定的计算和通信能力，能够完整或部分执行本地建模工作，在恰当的协议设计条件下，可以应用于各种场景受限于终端侧计算和通信能力隐私计算的对等部署框架边-边 端-端协同部署没有主节点无需借助第三方，提高了隐私性需要较高隐私保护级别（如医疗、金融等领域）模型收敛速度慢、模型精度低2.3.2 对等部署除上述三种主从式部署架构之外，对等的隐私计算架构也可以用于边缘学习中。如图 2-4，对等部署架构的主要特点是没有中心节点进行参数聚合，各用户终端或边缘节点利用本地数据训练模型，通过一定的交互协议使得参与建模的用户的模型收敛到统一的参数。这种类型的架构的主要优势是无需借助第三方可以直接通信，提高了隐私性，但可能需要更多的计算操作来对消息内容进行隐私处理（如，加密或者加干扰等），容易导致模型收敛速度变慢和精度变低等问题。这种架构主要用于需要较高隐私保护级别（如，医疗、金融等领域的数据进行建模）的一些应用场景。图 2-4 隐私计算：边-边协同部署框架边缘节点 1边缘节点 2边缘节点 k加密模型参数加密模型参数加密模型参数第三章边缘学习：隐私计算风险与技术挑战边缘学习：隐私计算白皮书17第三章：边缘学习：隐私计算风险与技术挑战3.1边缘学习安全风险3.1.3 数据风险面向边缘学习的隐私计算场景属于云-边-端的一个分布式网络架构，存在若干的边缘节点服务器和边缘设备。在数据采集、传输和存储等环节面临多种数据安全问题与风险。数据采集风险：在边缘设备的数据采集过程中，由于网络连接不稳定、边缘设备资源耗尽等原因，存在采集的原始数据不准确，数据缺失等数据安全风险；数据传输风险：在隐私保护的云端集中式学习、云边协同和云边端协同等架构场景中，边缘设备或边缘节点服务器通过互联网等网络上传敏感数据给云端时，在未加密保护情形下存在信道的数据窃听风险。在边缘设备将数据传输给服务器时，同样存在信道的非法窃听风险；边缘侧数据存储风险：存储在边缘设备和边缘节点服务器的数据，在数据安全防护措施缺少或薄弱的情形下，存在黑客入侵攻击造成的数据窃取、篡改和丢失风险；云端侧数据存储风险：存储在云服务器的数据在数据安全防护措施缺少或薄弱的情形下，同样存在黑客攻击导致的数据窃取、篡改和丢失风险。此外在使用第三方云服务器（如公有云）的情形下，存在未授权的访问和数据窃取风险。3.1.2 网络风险边缘学习的基础设施大量部署在网络的边缘侧，其计算和存储环境位于数据中心之外，不具备数据中心的物理安全性，因此面临一系列来自互联网的安全风险。DDoS 攻击：攻击者使用恶意终端设备或路由器启动DoS 攻击，或者插入故意违反通信协议的终端设备或路由器，以产生冲突或干扰通信通过，阻塞无线电信号的传输。此外，还包括电池耗尽攻击、睡眠剥夺攻击和宕机攻击等。注入欺骗分组攻击：攻击者通过插入、操纵和重播三种方式，将欺诈性数据分组注入通信链路。路由攻击：攻击者可以在通信层欺骗、重定向、误导或删除数据分组，通过生成路由循环或错误消息更改路由信息。通信协议漏洞风险：Modbus、Profinet、Zigbee 等工业协议被频繁爆出漏洞，极易被黑客利用，引发脆弱性攻击。3.1.3 计算风险边缘学习的计算设备主要包括具有边缘算力的智能终端设备、工业控制设备、边缘控制器、边缘网关、边缘计算服务器以及专用设备等，通常部署在行业现场，实现实时数据处理和决策。由于计算设备的软硬件漏洞及针对设备的攻击行为，存在下列安全风险：窃听攻击：若通信数据分组未加密，攻击者可以直接从边缘节点获得有价值的信息；在加密的情况下，攻击者也有可能获取用户名和密码。未授权对话攻击：是获取未授权的终端设备与终端设备之间的对话信息的一种攻击。例如在智能家居场景中，为了在紧急情况下关闭供暖系统，恒温器需要烟雾探测器的数据。然而，如果不安全的烟雾探测器可以共享每一个其他终端设备的信息，攻击者可能通过入侵烟雾探测器的方式控制整个家庭自动化系统。应答攻击：攻击者通过复制终端设备的标识号，将一边缘学习：隐私计算白皮书18第三章：边缘学习：隐私计算风险与技术挑战个新的终端设备添加到现有的终端设备集中。这种攻击会导致网络性能的显著降低。此外，攻击者很容易破坏或误导到达副本的数据分组。应答攻击的攻击者通过获得加密/共享密钥所需的访问权限，对系统实施破坏，终端设备副本通过执行终端设备撤销协议来撤销授权终端设备。恶意终端设备攻击：这类攻击的主要目标是获得对其所属网络的未授权访问或者破坏网络。恶意终端设备可以获得对其所属网络的其他终端设备的访问权，