高性能强安全的隐私计算技术和挑战.pdf

隐私计算技术和挑战大纲1.隐私计算商业背景 2.隐私计算技术介绍 3.隐私计算工程化挑战 4.蚂蚁链隐私计算实践PART 1 隐私计算背景隐私计算技术趋势2020年10月21日，全球领先的信息技术研究顾问公司Gartner发布企 业机构在2021年需深挖的重要战略科技趋势，第三项为隐私增强计算。2025年，将有一半大型企业机构使用隐私增强计算处理数据。全球隐私技术专利排行(IPRdaily)服务提供方服务使用方服务计算多方协同计算共识计算隐私计算y=f(a，b，c)+隐私计算商业背景公开数据私有数据隐私合规诉求分布式商业联合风控跨境汇款医疗科研对等多方弱信任个人诉求知情权匿名权机构诉求数据安全合规风险隐私需求删除权加密计算技术匿名技术合规技术AI引擎BI引擎脚本引擎匿名查询匿名ID决策引擎匿名匹配授权管控数字身份脱敏水印密码底座多方安全计算 MPC同态加密 HE零知识证明 ZKP分布式异构计算网络/可信数据库差分隐私 DP可信底座TEE可信FPGA虚拟机隔离原始数据保护身份ID保护合规诉求隐私引擎算法保护 隐私计算平台隐私计算产品PART 2 隐私计算技术介绍AliceBob姚氏百万富翁问题 存在2个争强好胜的富翁Alice和Bob，他们如何在不暴露各自财富的前提下比较谁更富有？多方安全计算 有n个互不信任的参与者 共同计算 y=f(x1,x2,x3,x4,xn)私有数据x1,xn不公开，y公开技术背景：安全多方计算（MPC)MPC 40年技术发展图 71980s:开创1990s:蓄力2000s:发展2010s:实用fleXORhalf-gatesFullyHomomorphicEncryptionrowreductionpoint&permuteBeavertriplesPackedSSfreeXOROTextension-differentialPrivacyYaosgarbledcircuitsShamirsecretsharingGMWBGWSharing+OT的算术电路执行基于门限的秘密分享混淆电路的算术电路执行秘密分享 Secret Sharing混淆电路Gabled Circuit减少解密次数减少门的行数OT扩展消除XOR门组合GRRFreeXOR基于SS的算术电路AND门降低到2个密文利用生成好的triple来降低乘法开销能同时分享多个秘密差分隐私定义全同态加密不经意传输 Oblivious TransferGMW Goldreich-Micali-Wigderson同态加密 Homomorphic Encryption差分隐私 Differential PrivacyBulletproofs范围证明零知识证明 Zero Knowledge ProofMPC核心密码学算法1 秘密分享（SS）?12数据源1（原始数据：20）数据源N（原始数据：30）数据源2（原始数据：10）35210030-1001037多方安全计算STEP1:原始数据拆分为三个随机数（和为原始数据）STEP2:将两个随机数发送给安全计算伙伴STEP3:每个安全计算节点对收到的数据求和STEP4:所有节点联合求和，等于原始数据的和问题:多方数据在不泄漏原始数据的前提下进行求和计算42+(-92)+110=6042-92110MPC核心密码学算法2 混淆电路（GC）技术特点：网络通讯少，固定轮次，可以离线优化 按位运算；通用，理论上能计算任何类型运算 计算性能较差?ID?a1,a2?ID?b1,b2?A?B?x?yU=Hash(a1)x,Hash(a2)x,?V=Hash(b1)y,Hash(b2)y,?U=Hash(a1)xy,Hash(a2)xy,?V=Hash(b1)yx,Hash(b2)yx,?U?V?U?ID?5?ID?a5 不安全的方法：哈希 攻击：穷举计算所有可能ID的哈希值，建立哈希值到ID的映射表；可以还原每个哈希值对应的ID 安全的方法：Diffie-Hellman算法，先哈希+后双重加密 加密方法：用密钥s对m加密，得到密文ms 每方只有自己密钥，没法穷举 只能还原交集的原始IDMPC核心密码学算法3 PSI PART 3 隐私计算工程化挑战隐私计算工程化挑战安全性性能通用性交付运维自证清白安全需求多样可解释异构计算带宽有限大数据规模场景多样化二次开发成本高开发语言多样私有化部署成本高远程运维安全性 计算架构SaaS架构代表厂商：Sharemind强中心架构代表厂商：Inpher弱中心架构代表厂商：MORSE-去中心化产品，平台方辅助角色-部署复杂，升级运维成本较高-合谋风险低-中心化产品，平台方有比较大的控制力-只部署计算引擎，升级成本较低-有一定的合谋风险-需要完全信任平台方-计算SaaS化-需要解释合谋风险(计算资源社会化)三条技术路线架构8合作方A私有数据计算节点明文可信域安全多方计算 MPC合作方B私有数据计算节点明文可信域中间结果的密文或 数据分片联邦学习 Federated Learning可信执行环境 TEE合作方A私有数据计算节点明文可信域合作方B私有数据计算节点明文可信域中心节点合并中间 结果的明文或密文A中间结果的密文B中间结果的密文合作方A私有数据加密明文可信域合作方B私有数据明文可信域可信执行环境A私有数据密文加密B私有数据密文MPC计算MPC计算明文计算 加密(解密)明文计算 加密(解密)合并中间结果(解密)解密数据 明文计算 加密结果MPC安全模型：1、无中心。只需要各合作方参与，不需要第三方 2、强隐私。私有数据、中间结果不泄漏 3、强安全。安全性和隐私保护基于成熟密码理论 4、结果可控。只让指定参与方获得最终结果 5、计算可信。可验证计算正确Federated Learning安全模型：1、有中心。需要一个第三方，以合并中间计算结果 2、弱隐私。私有数据不外传，但中间结果泄露，可反推私有数据信息；模型参数 3、结果不可控。多方获得模型参数TEE安全模型：1、依赖可信硬件。除了各合作方，还需要一个可信执行环境 2、强隐私。私有数据不泄漏。所有合作方私有数据，只在可信执行环境中被解密，明文计算，结果加密后从可信执行环境输出 3、结果可控。只让指定参与方获得最终结果 4、计算可信。可验证计算正确安全性 技术路线选择逻辑回归训练过程可分解为：加减法和乘法组合 安全加减法、乘法对标量、向量、矩阵均有效 向量/矩阵加减法 向量/矩阵乘法 Sigmoid:多项式拟合后，分解为加法和乘法a0=a-rmodpa1=rmodpa=a0+a1明文转share:拆分为随机shareShare转明文:share求和基于SS的安全计算：可做加减法、乘法的任意组合 明文转share:各输入拆分成share，分给各方 share转换：各方对share进行运算，得到新的share（结果的share）share转明文：合并所有新share，得到结果明文态和share态转换a0a1b0b1+=c0c1安全计算c=a+bshare态下的安全加减法安全性优势：输入、中间结果不泄露：每步运算的中间结果始终处于share状态 结果可控：训练出的模型只公开给指定方，或完全不公开 无中心可信方：不向任何第3方泄露数据、模型信息a0a1b0b1u0,v0,z0u1,v1,z1e0=a0-u0,f0=b0-v0e1=a1u1,f1=b1v1e=a-uf=b-ve=a-uf=b-vc0=ef+u0f+ev0+z0用同态/随机数服务器获得乘法三元组MTc0+c1=ef+uf+ev+uv=(e+u)(f+v)=abMT满足(u0+u1)(v0+v1)=(z0+z1)share态下的安全乘法1 Beaver D.Efficient multiparty protocols using circuit randomization.CRYPTO 1991 2 Demmler D,Schneider T,Zohner M.ABY-A framework for efficient mixed-protocol secure two-party computation.NDSS 2015 3 Mohassel P,Zhang Y.Secureml:A system for scalable privacy-preserving machine learning.S&P 2017c1=u1f+ev1+z1性能优化 安全LR算法实现性能优化 安全LR算法优化预处理分箱VIF相关系数特征 重要性卡方算法sigmoid多项式线性分段SSSS+GCsolver普通梯度 下降牛顿法Smart 算法安全技术IV等频等距异步架构并行计算负载均衡断网续跑更强 安全性ZKP无第三方工程化评估 指标逻辑回归模型指标(F1/AUC/KS)模型参数sklearn对比误差小数点后3位误差小数点后2位GC 线性分段shareshareshareshare量级自研DRBGA方B方支持数据量级支持特征维度1000w5000维SS 多项式shareshareshareshareA方B方越界！不可商用一阶收敛的梯度下降法海森矩阵求逆二阶收敛的 牛顿法普通梯度下降牛顿法Smart算法两种算法互有优缺点，为更好的利用它们的优势根据数据集在运算过程中选择合适算法 在保证迭代稳定性的前提下，加快收敛速度sigmoid拟合方式的升级优化算法的升级手动通用性 安全脚本编译器实现支持对所有数据类型和各种复杂逻辑编译浮点数乘除编译门数是开源项目的1/2(float)和1/10(double)C脚本Python脚本常数和单方明文计算条件和循环优化展开 预处理优化Morse电路编译器整数/定点数/浮点数 编程支持数学函数/Sigmoid预处理优化AND和OR门最少编译电路深度最浅编译电路编译优化焊接已有最优电路中间表示压缩的电路文件根据客户网络带宽和延迟以及电路门数和深度自动选择GC或GMW引擎执行Morse电路执行引擎最优算法并汇编实现GC引擎OT引擎OT扩展库和LPN OT库OT执行和MT执行GMW引擎GC和GMW引擎优选器通用性 通用分布式计算框架STFTF 节点ATF 节点BTF 节点RS算术运算逻辑运算解析运算基础基础类:PrivateTensor,SharedPair引擎STF LRSTF MR算子基础协议:双线性映射,模转换,OT,移位，比较 STF DL代数运算序运算协议优化性能对比交付运维 云+边缘协同网络节点数 100+部署平均时长 0.5天 升级时长 2小时 PART 4 蚂蚁链隐私计算实践营销服务商金融 机构第三方 数据源企业存证平台智能合约可信身份数据安全计算网络区块链平台数据价值流转 调用纪录存证，防造假 个人授权存证，防违规 智能合约自动计算费用 更多数据源共识加入隐私计算数据价值计算 价值回归计算，原始数据不出私域 密码学保障，数据可用不可见 轻量部署，快速协同 求交、预测、部署、统计、搜索数据合作方式2.0风控服务商蚂蚁链摩斯（MORSE）：隐私计算+区块链MORSE场景-联合建模(风控)金融风控业务需要融合多方数据以提升模型效果，降低风险需求A样本某银行某运营商本地建模软件A样本B样本（实验室）X 数据泄露风险/合规风险 X 模型无法保密 X 人力成本高（出差）X 建模周期长（至少一周）X 生产部署代价高私有建模安全建模MPC 节点MPC 节点Internet某银行某运营商B样本A样本 本地数据不出系统、安全合规 模型可以加密 “在家”自助建模 建模周期短，可随时迭代 一键部署到线上算法支持：LR、GBDT、深度学习等 自定义规则MPCMORSE 场景-人群分析(营销)互联网营销需要结合双方数据提升拉新和促活等营销效果需求传统方式某APP(媒体渠道）某机构投放人群安全营销MPC 节点MPC 节点Internet投放种子MPC某APP(媒体渠道）人群画像投放某机构 智能生成用户画像，投放效果更好 不泄露用户信息女性、上班族、未婚X 泄露敏感的用户信息MORSE平台能力 -联合建模联合建模性能指标(MPC)【4C8G/100M带宽】精度误差 0.01 LR(30W*100）35min GBDT(30W*100)18min特征工程模型训练效果分析安全模型能力 算法支持:LR/GBDT/DNN 加密机制:纯MPC/混合模式(TEE加强)特征工程：支持分箱、特征选择、缺失值填充 模型保密：支持模型加密部署服务MORSE平台能力 -联合建模联合建模性能指标(MPC)【4C8G/100M带宽】精度误差 0.01 LR(30W*100）35min GBDT(30W*100)18min特征工程模型训练效果分析安全模型能力 算法支持:LR/GBDT/DNN 加密机制:纯MPC/混合模式(TEE加强)特征工程：支持分箱、特征选择、缺失值填充 模型保密：支持模型加密部署服务MORSE平台能力 -联合碰撞/圈人PSI性能指标(MPC)【4C8G/100M带宽】最大数据规模 10亿*10亿 性能 平均2小时安全匹配能力 人群筛选：支持按照规则双方筛选 结果保密：支持匹配结果单方获取 投放对接：支持人群包ODPS读取和写入创建匹配任务查看匹配结果MORSE平台能力 -定制化脚本开发安全脚本能力 多语言：支持Python/C语言 服务化：在线支持编译/测试/在线部署全链路在线脚本开发IDE安全脚本性能（MPC）规则加密执行(60规则):400msMORSE标准和认证国内首家基于安全多方计算的数据流通产品国家信息技术安全研究中心权威检测基于国家密码局 认证的国密模块IDASH国际隐私 保护大赛冠军MORSE