AI芯片的产品设计与安全设计.pdf

算丰AI芯片的产品设计与安全设计芯之安全磐石 若广厦之地基比特大陆 汤炜伟2020.12.17目录算丰AI芯片的设计初心02比特大陆简介01算丰AI芯片的安全六盾03他山之石：区块链0401比特大陆简介比特大陆公司历程01公司成立推出55nm芯片2013推出28nm芯片ANTPOOL矿池上线2014AI业务算丰启动BTC.com矿池上线2015第一代AI芯片年营收突破25亿美元2017第二款7nm芯片第三代AI芯片2019推出16nm芯片2016首款7nm芯片第二代AI芯片2018人工智能业务算丰AI芯片和产品/深度学习专用TPU区块链业务-蚂蚁矿机全球市场占有率第一算力芯片经过七年成长的高性能计算芯片设计企业：掌握7纳米和5纳米芯片设计能力的全球几家公司之一比特大陆算丰AI芯片01BM1680工艺制程28nm峰值性能2T FP322017组建AI芯片团队20162019视频解码32路1080P硬解码BM1684工艺制程12nm峰值性能17.6T/16W视频解码8路1080P硬解码BM1682工艺制程28nm峰值性能3T FP322018视频解码H.264解码BM1880工艺制程28nm峰值性能1TOPSINT8高算力，大带宽8核A53，主控能力提高23倍INT8算力17.6T/35.2T安全可靠，完美保障新增安全引擎，保证数据安全、算法模型安全、设备安全强劲的视频编解码能力最高支持38路1080P解码，提升4倍视频前后处理能力提升4倍接口丰富，超低功耗支持双千兆以太网口功耗较上代产品降低50%以上BM1684BM1682BM1880第二代面向云端与边缘应用的AI推理芯片第一代面向终端应用的AI推理芯片2021BM168602AI芯片的设计初心AI芯片的设计初心02Performance&PowerApplication&Easy useLower cost&Safe算力强、功耗适合场景全覆盖云端和边缘机器视觉全算法支持GPU迁移代价低客户研发投入小产品性价比优客户数据安全算法安全全产品矩阵：云和边缘全覆盖02BM1684BM1684AIAI单芯加速卡单芯加速卡 SC5HSC5H算力 17.6TOPSINT8边缘边缘AIAI计算模组计算模组 SM5SM5算力 17.6TOPSINT8AIAI计算盒计算盒 SE5SE5算力 17.6TOPSINT8AIAI计算盒计算盒 SE3SE3算力 3TFLOPSFP32云云AIAI三芯加速卡三芯加速卡 SC5+SC5+算力 52.8TOPSINT8SC5+SC5+AIAI服务器系列服务器系列X86平台，国产飞腾FT平台一机多卡BMNNSDKBMNNSDKCompiler Compiler 编译器编译器BMNetC/BMNetT/BMNetP/BMNetM/Paddle-LiteRuntime Runtime 运行时部署工具运行时部署工具BMRuntime Engine/BMCV/OpenCV/FFMpeg/BMLib一站式开发工具链12nm 17.6TOPSINT8BM1682BM168228nm 3TFLOPSFP32PeaceNetPeaceNet算力云管理平台算力资源池算力资源池算力调度/弹性伸缩算法资源池算法资源池算法适配/算法仓库应用网关应用网关运营管理AIAI超级算力中心超级算力中心AI推理服务器集群P级超强算力AI芯片的设计：ASIC专用架构，算力、功耗、解码优于GPU02高算力，大带宽8核A53，主控能力提高23倍INT8算力17.6T/35.2T强劲的视频编解码能力最高支持38路1080P解码，提升4倍视频前后处理能力提升4倍2562102010339092682119597883830411469131011480500100015002000250030003500resnet50resnet152vgg16vgg19吞吐量 IMG/SBATCH=4T4A300SC5+ResNet超过旗舰 GPU 10%-32%VggNet超过旗舰 GPU 8%-41%能量效率超过旗舰 GPU 70%48 19 18 15 671 299 245 210 1014 490 437 394 020040060080010001200resnet50resnet152vgg16vgg19吞吐(张/秒）BATCH=4NVIDIA TX2ATLAS200SOPHON SM5 ResNet超过GPU 20倍 VggNet超过GPU 25倍 能量效率超过旗舰 GPU 20倍同等的被动散热边缘盒/模组(20W)同等的的半高半长板卡（=75W）AI芯片的设计初心：机器视觉类AI算法全覆盖02图像分类目标检测语义分割实例分割典型模型AlexNet、GoogLeNet、VGGNet、RESNET、DenseNet、mobilenet 语义分割：在语义上理解每个像素的角色典型模型YOLO、SSD、Fast R-CNN 典型模型Deeplab，FCN、SegNet 典型模型Mask R-CNN、Deeplab 行业/技术图像分类目标检测语义分割实例分割安防人体车辆属性分类人脸检测、目标检测行为姿态检测行为姿态检测互联网电商图像识别、OCR内容审查视频广告视频广告消费电子手机相册分类手机相册分类手机美颜抠图、电影效果汽车人车分类、红绿灯人车检测可行驶区域感知可行驶区域感知医疗病灶标注病灶识别与标注CT、X光辅助诊断CT、X光辅助诊断语义分割的基础上，实例分割将不同类型的实例进行像素级区分AI芯片的设计初心：框架完善支持、易开发易迁移02CaffeTensorFlowPyTorchMxNetPaddle安防人脸识别教育表情识别交通车辆识别物流智能调度零售无人商店医疗影像识别其他视图处理语音识别语义分析智能推荐算力调度算法管理开放网关运营服务芯片服务器基础层平台层应用层算法层框架层AI算力硬件03算丰AI芯片的安全六盾最新一代AI芯片：BM1684的安全六盾03 Secure boot Crypto engines Secure key for customer Trust zone Secure firewall Chip unique ID构建可信的系统：Secure boot 验证启动03Boot ROM片内固化ARM trust firmware frameworkbootloaderKernel&ramdisk 从efuse读取root key digest，从SPI flash读取bootloader镜像和root key 用root key digest验证root key的合法性 用root key验证bootloader镜像的合法性授信启动Linux dm-verity bootloader镜像里包含了bootloader的code和public key 读取kernel+ramdisk的镜像 验证镜像的合法性 ramdisk里包含了eMMC上根文件系统分区的root hash 采用了kernel的dm-verity机制，从root hash出发，对根文件系统做校验授信启动U-boot verified boot frameworkApplication验证启动 可采用非对称加密方法，对应用签名进行合法性验证DebianRootFS构建可信的系统：Trust zone 可信区01 TrustZone提供一套高效系统安全保护硬件架构，可以有效的抵御各种可能的攻击 它将SOC的资源划分为安全(secure world)和非安全(normal world)两个世界，关键的高敏感数据在安全世界执行，其它操作在正常世界执行 从芯片ROM开始，逐级建立信任链，每一步启动都需要最高特权级别执行和密钥验证，防止软件篡改替换 BM1684遵循TrustZone设计规范进行了完整的实现构建可信的系统：Secure Firewall&Secure key&Chip unique ID01Hardware PlatformTPURich OSGeneric TEE APITEE Client APIAI ApplicationsTEE Internal APIsTrusted OSFaceDataAI ModelsLicense KeysCust Trust Apps 应用密钥 客户根钥烧写至OTP区域，采用secure mode保护，仅供硬件加解密引擎读取 加密后应用密钥由normal world传入secure world解密，用于相应数据的解密 数据：加密存储在非易失设备中(eMMC/SDD/HDD)使用时加载至secure world解密后使用 算法模型：加密存储在非易失设备中或由网络下发 通过TA加载至secure world解密运行SPACCOTP构建可信的系统：Crypto Engines01 Support crypto engines：AES/DES;SM4/SHA;RSA/ECC;All above hardware accelerator SPACC enabled one way read Software(cpu)accelerator can read both ways not secure Secure key storage scheme support04区块链设想边缘计算安全体系01身份访问控制角色访问控制节点身份管理云节点身份认证边缘节点身份认证位置隐私保护身份隐私保护数据隐私保护数据加密性数据完整性保密性和安全共享数据安全身份认证访问控制隐私保护数据访问控制边缘计算安全体系边缘计算典型网络节点和结构图04抓拍机监控摄像头视频联网平台应用终端采集抓拍图片视频流视频流图片AI计算盒AI计算盒网络路由AI运算，数据加密，本地存储哈希值，数据上传至云节点AI计算服务器抓拍机、摄像头以及应用终端等终端节点负责采集数据，将数据通过网络路由上传到AI计算盒，边缘计算节点对终端采集的数据进行AI运算和处理，然后存储各个区块的哈希值。云节点负责账本存储、共识、路由和应用等任务，云节点是云平台上划分的多个虚拟机虚拟机负责共识出块和全账本存储，并可以通过开发区块链应用来管理和监控整个网络。全账本存储、共识、边缘节点权限管理边缘计算和云：基于区块链的智能合约智能合约合约状态合约值区块1区块3区块2区块n预置触发条件和响应规则条件1：响应1条件2：响应2条件n：响应n智能合约封装了预定义的触发条件及响应规则、触发合约执行的场景（如达到特定时间或发生特定事件等）、特定情境下的应对动作等。在边缘计算场景中，可以采用智能合约来操作数据，实现区块链数据的生成、修改、删除等权限管理功能，智能合约为区块链部署到AI硬件产品上提供了灵活可编程的机制和算法。04结语 比特大陆作为最早的AI芯片厂家之一，芯片设计和软件设计健全；从最底层的芯片和硬件层，提供多种安全框架的产品解决方案；而芯片级别的安全保护、隐私保护等是最基础的磐石；以AI芯片构建的边缘计算方案，未来有机会通过区块链智能合约，构建安全认证和访问体系；5G+AI时代来临，千亿级的物联网设备，安全问题会更加突出。我们愿与滴滴和各界朋友合作，打造一个具有算力之美的、安全的智能世界；比特大陆AI生态圈