“云智一体”技术与应用解析白皮书——智能物联网篇.pdf

03目 录CONTENS一、云智一体，促进数字化转型与智能化升级一步到位二、端边云全面智能化，驱动物联网应用创新三、百度智能云天工AIoT平台的数据智能技术四、百度智能云天工AIoT平台的语音智能技术五、百度智能云天工AIoT平台的视觉智能技术1.1 产业智能化，数字经济发展新阶段1.2 百度智能云战略升级1.3 云智一体的百度智能云架构2.0，加速产业智能化2.1 物联网演进的必然趋势 2.1.1 物联网发展趋势 2.1.2 智能物联网特点2.2 传统物联网平台的转型困局2.3 智能物联网的核心能力2.4 全面智能化的百度智能云天工AIoT平台2.0全景图3.1 科技改变世界的三元素3.2 数据智能的技术创新 3.2.1 数据能力 3.2.2 算法能力 3.2.3 端边云一体化的基础设施 3.2.4 数字单元4.1 语音语义一体化发展趋势与技术变革 4.1.1 语音技术 4.1.2 语义技术4.2 语音语义一体化平台度家 4.2.1 语音能力 4.2.2 语义能力 4.2.3 开源框架 4.2.4 订制开发板 5.1 视觉智能发展趋势5.2 视觉智能的端到端产品解决方案 5.2.1 AI中台 5.2.2 百度智能云天工AIoT智能边缘平台 5.2.3 边缘智能硬件020511182403030406060707091012121314151619192020202122232525262627六、VR，AIoT进化的下一个奇点七、产业实践加速工业互联网发展八、产业实践促进企业用能变革九、更多行业案例参考十、关于本报告6.1 百度VR，信息三维化时代的平台构建者&生态运营者6.2 百度智能云VR 2.0全景架构图 6.2.1 三大特点 6.2.2 技术维度解读 6.2.3 平台维度解读 6.2.4 场景维度解读7.1 百度智能云开物工业互联网平台7.2 百度智能云开物的点线面体7.3 百度智能云开物的设备智能场景实践7.4 百度智能云开物的产线智能场景实践 7.4.1 工艺调参 7.4.2 质量检测 7.4.3 安全巡检7.5 百度智能云开物的企业智能场景实践7.6 百度智能云开物的产业智能场景实践8.1 度能2.0平台概述8.2 度能2.0平台的三大特性 8.2.1 开放共创 8.2.2 全面支持双碳业务 8.2.3 AIoT能力深度集成8.3案例分享5.3 应用案例 5.3.1 案例一-AIoT视觉智能赋能工业质检 5.3.2 案例二-生产安全行为识别3039486061282829313232333536404142434344454647495151525457云智一体，促进数字化转型与智能化升级一步到位“云智一体”技术与应用解析 智能物联网篇0202“云智一体”技术与应用解析 智能物联网篇1.1 产业智能化，数字经济发展新阶段当前，我们正处在科技创新和产业发展最好的时代，以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展，驱动新一轮科技革命和产业变革。在产业应用新兴技术和数据资源转型升级的过程中，数字化是基础；而随着人工智能等新一代信息技术的发展，以及数据的爆发式增长，产业加快应用智能技术，从海量数据中发现规律、训练模型、提炼知识，促进产出增加和效率提升，实现企业生产经营的智能化，进而实现整个产业的智能化升级。因此，数字经济既包括数字化转型，也包括智能化升级，产业智能化是数字经济发展的新阶段。1.2 百度智能云战略升级百度是拥有强大互联网基础的领先AI公司。从成立的第一天起，百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践，百度已形成了全面布局，从基础的算力和数据技术、深度学习算法及框架，到语音、视觉、自然语言处理等感知、认知技术，以及飞桨深度学习开源开放平台等，具备云智一体的独特优势。基于百度的技术优势和对产业发展的洞察，经过跟合作伙伴的共同成长与产业实践，百度智能云的战略升级为：以“云计算为基础”支撑企业数字化转型，以“人工智能为引擎”加速产业智能化升级，云智一体“赋能千行百业”，促进经济高质量发展。云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座，“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做，一步到位，这样效率更高，效果更好。同时，如果客户只做数字化转型，我们有丰富的云计算产品可以支持；或者客户已经有了数字化基础，我们的智能化引擎也可以助力智能化应用。百度智能云的“云”，不仅为数字化转型提供安全稳定、弹性灵活的云计算服务，同时也是适合跑AI的云，我们称之为“AI原生云”，继承云原生的优势，面向AI场景，提供极致弹性的高性能异构算力，打造简洁、高效的AI应用开发架构。“云智一体”的智，是百度将深耕十余年的AI技术，以及AI赋能产业的实践经验，沉淀为助力产业智能化升级的技术、平台及方法论，是以加速产业智能化升级为己任、懂场景的AI。031.3 云智一体的百度智能云架构2.0，加速产业智能化基于百度智能云的战略升级，云智一体的百度智能云架构2.0同时发布，包含数字化底座、智能化引擎和全场景应用（如图1.3-1所示）。数字化底座，包括基础云、数据库、物联网、边缘计算、区块链等基础平台，以及视频云、大数据、云原生开发和地图服务等；同时还有安全模块，为技术创新和产业转型升级保驾护航。在数字化底座之上是智能化引擎，百度自主研发的飞桨深度学习平台为核心，软硬一体AI大生产平台-百度大脑为支撑，包括AI中台和知识中台等。智能化引擎与行业深度融合，帮助企业建设自己的智能化中台，助力智能化升级。基于数字化底座和智能化引擎，百度智能云深入行业场景，打造智能应用，同时与生态伙伴一起，在制造、能源、城市、金融、医疗、媒体等领域，助力数字化转型和智能化升级一步到位。我们希望以百度智能云为纽带，联合技术和产业生态伙伴，通过开源开放平台降低AI 开发的门槛，加快人工智能融入传统产业，帮助越来越多的行业大步快跑，加入产业智能化的大潮。（图1.3-1）百度智能云全新架构2.0智能化引擎全场景应用智能客服企业搜索智能办公智能推荐工业质检智能创作智慧城市智慧交通智慧金融智能制造智慧能源智慧媒体智慧医疗数字化底座云为底座 飞桨为核 生态为翼AI中台知识中台软硬一体AI大生产平台产业级深度学习开源开放平台存储网络大数据服务视频云云原生开发服务区块链数据库物联网边缘计算基础云安全地图服务计算“云智一体”技术与应用解析 智能物联网篇04端边云全面智能化，驱动物联网应用创新 05052.1 物联网演进的必然趋势物联网产业经历了十几年的发展，大家对它的共识是下一代网络，用有线/无线等方式，让人与物、物与物进行数字化连接。而随着AI技术的逐步成熟和落地应用，我们正站在IoT和AI融合的关键路口。物联网是产业互联网的重要基础，IoT的网联化和智能化，为IoT发展注入新动力，进一步释放了物联网的底层能量，打开了物联网在各行业中的创新应用空间。AI与IoT这两类技术有天然的互补性：一方面，AI寻求IoT来拓展应用场景和数据养料；另一方面，IoT寻求AI来赋能并提升应用价值。2.1.1 物联网发展趋势有了AI能力，IoT扩大了应用边界，“物联网”正在由狭义的“万物互联”，向更广阔的应用场景迅速扩展：人与物、物与物之间可以进行更复杂、更智能化的交互，进而改变了物理世界与数字世界融合交互的方式，也带来社会运行模式与商业形态的变化。变化趋势如下：从连接万物到唤醒万物。连接是第一步，相当于给万物分配了一个地址，更需关注的是“互联”之后的“互通”，通过唤醒万物形成大规模的智能协作是未来。从中心化到端边云协同。“智力形态”由云上中枢向边缘延伸，部署在边缘及终端上的算力开始参与决策，大大提升响应速度与决策效能，让“无处不计算”、“无处不智能”真正成为可能。从技术革新到产业革命。云服务商、智能终端厂商等技术革新方，从不同维度切入并赋能产业，驱动产业形态及商业模式的变革。从物联网思维到智联网思维。当AI+IoT协同渗透到行业，赋能企业核心业务，产业物联网转向智联网转型，加速智能经济的发展和智能社会的到来。物联网演进的必然趋势（图2.1-1）AI技术的成熟，催生“网联化”+“智能化”交叉融合，为loT注入新的价值空间AI：寻求loT来拓展新的应用场景和数据养料loT：寻求AI来增强网联化及数据价值“云智一体”技术与应用解析 智能物联网篇062.1.2 智能物联网特点连接万物。这是物联网平台最基础特点。与泛在IoT设备连接，把海量设备管起来，高效传输和感知数据，通过平台连接万物，跨时空、多维度打通设备、数据与算力。亿级规模设备的连接能力，已成为领域主要玩家的重要门槛；而低延时连接技术，在无人车、远程驾驶等新场景下，需要面对的新的技术挑战。对话万物。赋予万物对话能力，是智能物联网最核心的特点。用AI与泛在IoT设备智能交互，通过数字化控制、语音、视觉和虚拟现实等技术，为IoT提供更自然的多维交互服务，能让人和机器进行更好的互动，赋予机器更“拟人化个性化”的特点。智慧万物。用AI和云赋能IoT的智慧应用。有了连接能力、对话式交互等各种手段后，将AI、大数据分析等技术，深入融合到各行业的应用场景中，形成先进生产力，使得智能物联网无处不在，助力产业发展和消费升级，实现新的社会价值。智能物联网三大特点（图2.1.2-1）连接万物跨越时空多维度，链接亿级泛loT设备，数据与算力对话万物提供领先的AI视觉、语音、数据分析等服务，赋予万物对话能力聚焦AloT智慧应用场景为资源和能力有限的loT设备提供无限的可能性AI技术的成熟，催生“网联化”+“智能化”交叉融合，为loT注入新的价值空间AI：寻求loT来拓展新的应用场景和数据养料loT：寻求AI来增强网联化及数据价值智慧万物基于AI技术及海量数据，打造产业、消费双端智慧应用，助力行业升级2.2 传统物联网平台的转型困局基于连接为主的传统物联网平台，更多是聚焦在连接本身，即终端连接数规模及增速越来越快，连接的质量如稳定性、延时等越来越好，但实现这些是远远不够的。随着规模和连接场景的增多，如何更好的运用技术来支撑起更细颗粒度的应用场景落地、挖掘海量异构数据的价值，成为了物联网进一步发展的核心命题。而在数据流传过程中，对于数据形态及中间过程来讲，需求不仅只是停留在数据分析层面，而是要基于多模数据交互来催生新的应用场景，这极大扩展了物联网应用领域，智能化成为物联网平台发展的必然趋势。07（图2.2-2）端边云协同趋势演变在AI与传统物联网场景结合的智能物联网转变过程中，也面临着新的技术挑战，即从设备上云连接向边云协同的转型，这是因为在整个连接过程中，对连接时效性、数据私密性等都提出了新的要求，因而提出了边云协同的概念。而在诸如基于语音智能的家电场景中，对端提出了更高的要求，因此边云协同再向端边云协同与整合，这也是百度智能云的物联网发展历程。现在来看，百度智能云的端边云协同框架已经发展到了成熟阶段，并在一些典型应用场景中实现了最佳落地实践。传统物联网到智能物联网（图2.2-1）loT与AI技术融合对物联网平台提出新的要求传感设备连接上云数值分析动态展示数据存储传感+音视频设备边云接入多模数据智能分析多模数据智能交互动态展示多维数据存储联网的时效性计算及交互的即时性个性化场景端侧可直接提供服务化能力更低的成本更丰富的感知设备设备上云边云融合端边云协同更高效的网络基础更强大的边端算力让端侧设备数据联网传输到云端联网的时效性数据的隐私性应用的灵活性计算前置衍生出边侧设备AI时代的场景催生更复杂的“端边云”协同架构“云智一体”技术与应用解析 智能物联网篇082.3 智能物联网的核心能力数据智能、语音智能和视觉智能，是当今智能物联网驱动各类数据智能化应用的核心能力。数据智能。基于传感器数值类型数据做智能化分析及交互。比如在工厂中采集到的大量数据，直接上云产生各种智能化决策依据返回控制台，实现对工厂整体工作链条的影响，这是典型的云端智能化场景。语音智能。基于语音类型数据做语音语义理解分析及交互。语音智能对计算前置性的要求很高，数据流转上，除了端云数据交互外，云端算力也被前置。视觉智能。基于视频图片类型数据做视觉语义化理解分析及交互。在视觉智能方面，视频流推到云端再处理返回，整个流程时延较长，因而在边缘上做AI视觉决策成为一个必然选择，故而在视频领域更多是做边缘智能化。（图2.3-1）AIoT的核心能力2.4 全面智能化的百度智能云天工AIoT平台2.0全景图百度智能云做物联网已有六个年头，百度有着完整的AI技术布局：世界一流的语音、视觉、自然语言处理和知识图谱等核心技术，已开放330多项AI能力，有360万开发者队伍，其强大的AI内核成为智能物联网发展的强劲动力。09数据智能基于传感器数值类型数据做智能化分析及交互语音智能基于语音类型数据做语音语义理解分析及交互AloT同时构建出驱动各类数据智能化应用的能力视觉智能基于视频图片类型数据做视觉语义化理解分析及交互（图2.4-1）全面智能化的百度智能云天工AIoT平台2.0全景图自研的百度智能云天工AIoT平台2.0，是百度智能云从物联网到智能物联网探索过程中沉淀总结形成的最新技术架构，从一个仅面向设备连接管理的平台，演进到全面融合AI技术的AIOT平台。百度智能云天工AIoT平台2.0实现了端边云的全面智能化，支撑起产业物联网和消费物联网两大领域的数十个行业，去构建丰富的智能化应用，全面赋能千行百业的智能化应用创新。工业应用百度智能云开物工业互联网平台数据智能语音语义智能视觉智能能源应用度能综合能源管控平台园区安全应用数据流转&协议转换物联网可视化时空数据管理平台时序时空数据库视觉边缘盒子数据边缘盒子边缘服务器通用视觉模型场景视觉模型预训练模型AI开发平台AIoT连接管理边缘计算软件框架Baetyl边缘智能硬件AIoT设备管理AIoT边云协同AIoT应用编排dCellAIoT安全管理唤醒识别语音合成智能家电智能教育营销 党建 教培 社交建筑 家居农林 交通矿业 城市水务.园区安全管控平台度家-语音语义一体化消费电子平台VR应用场景更多行业场景重点行业场景能力层平台层边缘层行业产品&方案百度智能云天工 平台智能终端AIoT2.0工业数据&视觉智能平台综合能源数据智能平台安全视觉智能平台语音语义平台VR内容生产消费平台鸿鹄语音芯片鸿鹄语音模组IoT安全接入SDK度家系列面板机摄像头抓拍机度目系列监测手环智能电表度能系列VR头显模型/全景/环物拍摄设备VR系列语义理解处理“云智一体”技术与应用解析 智能物联网篇10百度智能云天工AIoT平台的数据智能技术 11113.1 科技改变世界的三元素中国正在蓬勃发展发展，多种新技术不断涌现，无论是云计算、AI智能，还是万物互联，背后都是由三个基本元素驱动着，即数据、算法和基础设施。数据类型越来越丰富，不光要处理文本和数字、语音和图像、还要识别动作和理解意图。今天可以动用强大算法，可以使用神经网络等先进的AI模型，可以使用数字孪生和各种虚拟现实技术，让物理世界与数字世界融合在一起。同时，更多基于云原生、AI原生的先进基础设施让数据和算法有了承载平台和试验场。3.2 数据智能的技术创新百度智能云天工AIoT平台是一个位于数据、算法和基础设施交汇点的PaaS平台，一方面向下充分挖掘百度智能云在IaaS、边缘和异构计算方面强大算力能力，另外一方面向上和合作伙伴一起拓展各种垂直领域解决方案。在技术上，一方面为各种物联网设备终端提供SDK，简化开发模型，另一方面提供设备互联互通中心平台，以及帮助开发者快速开发应用程序的各类中间件。其中，数据智能以数据流转与协议转换、时序时空数据库、时空数据管理平台以及物联网可视化为基础，百度智能云天工AIoT平台在数据智能方面做了大量技术创新。（图3.2-1）技术视角下的百度智能云天工AIoT平台工业应用工业数据&视觉智能平台百度智能云开物工业互联网平台能源应用综合能源数据智能平台度能综合能源管控平台园区安全应用智能家电 智能教育营销 党建 教培 社交建筑家居农林交通矿业城市水务.安全视觉智能平台语音语义平台VR内容生产消费平台园区安全管控平台度家-语音语义一体化消费电子平台VR应用场景更多行业场景重点行业场景数据传感器IoT SDK图像传感器Video SDK百度智能云天工连接中心IoTCore语音传感器Voice SDK时空数据管理平台数字孪生框架dCell智能计算引擎FaaS&ML时序时空数据库TSDB虚拟现实引擎VR可视化引擎IoT-Vis云计算基础设施百度昆仑AI加速卡百度鸿鹄语音芯片“云智一体”技术与应用解析 智能物联网篇123.2.1 数据能力百度智能云天工AIoT平台是国内最早实现了分布式云原生和多租户的物联网平台，每天有数千万设备连接，总连接时间每天超过100亿分钟，收发超过7亿条消息，每一条在不到10毫秒时间内得到处理。同时，百度智能云天工AIoT平台支持更多协议并拥有更强的后端处理能力，在高容灾的前提下有效降低数据传输延时。数据爆发不仅要平台先进，还要有协议先进。百度智能云天工AIoT平台不仅持续深入支持MQTT协议的5.0版，增加应用负载均衡和高可用能力。同时，还支持CoAP和HTTP协议接入系统，前者可以帮助我们连接更多轻量级的设备，后者可以帮助我们连接大量的现有应用服务。协议之上还增加了对于更多数据种类的支持，不仅可以在 MQTT 里传输结构化数据，还可以在 MQTT 协议上直接传输语音、图像等二进制数据，在一个智能终端上简化网络编程接口，提升连接复用率，降低延迟及资源开销。（图3.2.1-1）百度智能云天工平台的数据能力更多的连接数千万级实时并发设备更大的吞吐量7亿/d消息，100亿分钟/d更低的处理延迟系统内端到端低于10ms更强的容灾能力抵抗100万重连风暴（图3.2.1-2）音视频数据合并单协议链路传输简化网络编程接口 提升带宽利用率 降低全链路处理延迟文本和数字音频段MQTT协议视频帧数据智能中台语音智能中台视觉智能中台13举个例子，将百度智能云天工 AIoT 平台和百度的 Apollo 自动驾驶结合，实现了道路的智能化。在路测收集过来的图片、视频信息及传感器信息，将由百度智能云天工平台传输和实时进行 AI 处理，处理之后得到的路面信息将被快速传送到周边的自动驾驶汽车上，那么车可以更早、更远地看到路面状况，从而改善驾驶安全，提升道路通行效率。（图3.2.1-3）百度智能云天工平台助力V2X实现道路智能化Over 60%reduction in automatic driving costs to help solve cross-regional road synergy challengesGlobal optimization of a wide range of multi-base station nodesRoadside Perception5G Base StationAutopilot car5G Base StationMEC NodeMEC NodeV2X AlgorithmBaidu IntelliEdgeMEC ClusterMECNodeKey data uplinkBaidu IoT PlatformV2X Remote ConsoleVideo files uplinkModel upgradeConfiguration upgradeCross-region V2X3.2.2 算法能力有了海量数据，还要有先进算法来实现对海量数据价值的挖掘与处理。百度智能云天工AIoT平台结合百度地图的海量POI处理能力和物联网的时间聚合分析能力，构建一整套时空大数据系统，并采用时空时序数据库来用于存储和管理时间序列数据及地理空间数据。时空大数据套件，解决数据孤岛，实现数据治理及数据共享，使得需要结合空间与时间的应用落地就会变得简单，提升了运营效率。（图3.2.2-1）时间数据和空间数据的统一处理结合时间序列和空间地理信息，解决数据孤岛实现数据治理及数据共享，提高运营效率。应用层时空数据管理平台数据接入服务时空数据库数据管理平台数据查询服务 图层管理平台时空数据时序数据空间数据数据存储服务HbaseCassandraGreenplumElasticsearch可视化APIRBAC鉴权数据迁移服务OGC接口百度地图可视化SAAS第三方地图“云智一体”技术与应用解析 智能物联网篇14在设备连接后，为使设备能够随着外部环境的变化进行自主处理，百度智能云天工AIoT平台引入了数字孪生技术，让每一个真实的物理对象在云上拥有独一无二的数字镜像，开发者可以通过Blink协议及对应API的调用，获取物理对象的信息，通过这样的方式我们可以实现每一个物体可控、可知、可编程。（图3.2.2-2）数字孪生实现万物的理解和唤醒生命周期和状态设备数据上报服务数据下行接口消息响应让万物可编程理解他的信息唤醒他的智慧Blink协议真实物理对象数字孪生对象 “species”:“cat”,“color”:“purple”,IAnimal feed(Some food)-bool setLocation(Geometory)-boolIDiscoverable onMove(Time,Geo)-void onSleep(Reason)-bool3.2.3 端边云一体化的基础设施端边云一体化让设备更加智能：在终端侧提供SDK简化终端设备的编程；在边缘侧通过私有网络直接运行应用程序的控制策略和AI策略；在云端采集大量经过脱敏的数据，并用百度先进的AI能力不断迭代模型，然后安全的下发到边缘。同时，平台提供数字孪生构建工具和托管能力，使用标准的物模型描述事务，配合Blink数据交互协议规范，实现端边云在同一物联语义体系下高效交互。（图3.2.3-1）端边云一体化让智能无处不在数据上行 连接万物知识下行 智慧赋能终端设备侧边缘计算侧云上平台侧嵌入式SDK数据采集控制信令程序化响应OTA固件升级本地设备连接数字孪生控制本地AI分析理解脱敏数据上云同步控制信令IoT Stack 2.0AI平台打通大数据分析模型一键下发动态展示看板153.2.4 数字单元今天做一个智能物联网应用，面临的主要困难是设备的多样性、场景的分散性及技术体系的碎片化，为此百度智能云提出了“数字单元”（dCell）的概念。数字单元是基于数字孪生能力进一步抽象而来，每一个终端设备、每一个算法、每一个计算节点都被抽象成为一种标准的数字单元，而所有东西都将共享同样的行为，它们都有标准化的输入、标准化的输出及标准化的属性接口。因为标准化，所以开发者只需要很简单地把所需要的数字单元放在一起，然后画出连接关系，就可以得到智能应用。而背后不同单元面临的差异性、工程部署问题、监控问题、运维问题等等一切的复杂性都交给平台，最后百度智能云会通过技术和跟合作伙伴的共同努力解决这些问题，让开发者得到释放。（图3.2.4-1）以数字单元串联能力构造智能应用单元是单一能力的封装：原子化的功能单元功能单元可任意组合可视化无代码编程一个单元只做一件事情一个单元最多拥有一个输入的数据一个单元可以拥有多个输出的数据一个单元有多个属性单元 Cell属性 property输出 output输入 input生成编译编排、协调C+/Golang/Python框架代码模块单元组件单元仓库.Jios服务编排描述.Jios单元能力描述dCell开发工具dCell定义语言dCell运行框架“云智一体”技术与应用解析 智能物联网篇16综上，百度一直致力于用科技让复杂世界变得简单，已经可以支持更多的数据协议。在数据协议上支持语音、图像等更多的数据内容，并充分利用分布式、云原生及协议高级特性，来支持数据的海量爆发。针对海量数据提供时空大数据、数据孪生等先进的算法能力，用时空大数据解决空间和时间的结合问题，用数字孪生让所有的设备变的可知、可控。此外，百度智能云还对外提供全新的dCell应用开发平台，让物联网的落地应用变得简单可依赖。（图3.2.4-2）全新能力迎接智能时代多协议支持MQTT/CoAP/HTTP数字孪生物联网设备管理dCellAIoT 应用开发平台云原生平台全分布式消息接入多租户弹性资源MQTT 5.0Audioover MQTTVideoover MQTT设备管理控制面 API设备管理数据面 API视觉智能中台语音智能中台Videoover MQTTVideoover MQTTVideoover MQTTVideoover MQTTBlink编程规范数字对象模型SDMP时空大数据百度地图集成17百度智能云天工AIoT平台的语音智能技术“云智一体”技术与应用解析 智能物联网篇1818“云智一体”技术与应用解析 智能物联网篇4.1 语音语义一体化发展趋势与技术变革越来越多的设备，尤其是家电设备，语音助手的覆盖率越来越高。在家电领域，新出厂搭载语音技术的电视比例达到了75%，空调、白色家电及小家电等品类中的比例也在不断提升。在办公与教育领域，语音助手和语义理解相关产品也越来越多，并逐渐在一些品类中成为标配。在大趋势下，语音智能在技术层面也产生了新的变革。（图4.1-1）语音语义在消费电子领域新趋势4.1.1 语音技术相对于传统的信号处理技术，近年来越来越多的语音技术已经发展到“端到端”。基于“端到端”的模型可以解决传统信号处理无法逾越的问题：比如，模型波束可以解决特殊外道下的唤醒识别问题，还可以通过端到端解决听清和听懂的差异问题，不是说听的越清识别率越高。此类种种问题都可通过端到端模型解决，大幅提升设备的唤醒率和识别率。电视2020年出货4800万台语音搭载率70%空调2020年出货 5100万台语音搭载率 15%小家电（含照明）2020年销售额约 7000亿语音搭载率小于1%教育办公众多新兴产品语音成为标配 数据来源：奥维云网-2020年小家电年报-2021.1；中国智能家居产业发展报告2021-AVC 端到端语音技术解决消费电子设备交互难题（图4.1.1-1）唤醒先确定声源，再形成波束，首次唤醒难以利用波束，唤醒率偏低定位错误会导致唤醒和识别率大幅下降波束有一定宽度，噪声和语音方向都在波束内时，识别率显著降低 语音增强和语音识别目标不一致，识别性能很难进一步优化声源定位和波束生成同时进行，解决首次唤醒难问题当点噪音源和波束方向同方向时，性能不会急剧下降 可解决非线性设备的唤醒和识别问题基于信号处理的远场语音技术端到端建模字错误率18.00%16.00%14.00%12.00%10.00%8.00%6.00%4.00%2.00%0.00%9.30%4.85%16.60%1.50%用户移动测试集信号处理端到端线上评测194.1.2 语义技术越来越多的语义产品开始进行场景化落地。虽然通用性语义场景还没有完全成型，但在各种垂类场景如智能客服、家电音箱、机器人、车载智能等，语义理解技术已经得到广泛应用于实践，并越来越被公众所接受，现在很多热线都实现了由人工客服到智能客服的转变。4.2 语音语义一体化平台度家在语音语义智能领域，百度智能云天工AIoT平台以语音语义一体化平台度家，解决设备唤醒识别、语音合成、语义理解处理等问题。度家平台整合百度核心能力以及百度智能云天工AIoT平台能力，包括百度鸿鹄芯片、各种硬件、声学电子等产品解决方案，为用户提供资源统一管理平台，简单一键配置就可获得大量底层AI能力并实现良好串联。度家平台总览（图4.2-1）4.2.1 语音能力度家语音语义一体化平台，集成了百度自主研发的鸿鹄芯片，支持Deep peak、Deep cnn语音唤醒技术以及百度最新的双麦克模型波束算法，可以满足设备唤醒后360度无死角识别。同时，百度智能云联手合作伙伴打造了ESP32-DU1906语音模组，以Wifi蓝牙双模态有效解决了物联网无屏设备问题。在有屏设备上，百度智能云与各种安卓、linux平台集成了onboard方案，为用户提供带屏设备唤醒、语音交互等能力，大幅度降低主CPU带宽和待机功耗。智能家居设备厂商度家AIOT语音语义平台百度鸿鹄芯片DU1906语音SDK基于深度学习软件定义芯片架构设计实现超低误率+超高唤醒率更适用于神经网络计算语音识别（ASR)语音合成（TTS)语义解析（UNIT)预置技能第三方语义解析技能混合机器人轻量级云云对接软硬一体设备直连AI链式语音语义服务电视空调照明设备其他语音请求请求结果语音请求请求结果物接入规则引擎时序数据库其他一站式调用返回三重结果“云智一体”技术与应用解析 智能物联网篇20语音能力-以百度鸿鹄芯片为基础的端云一体产品（图4.2.1-1）支持多达六路的麦克阵列语音信号 Deep peak和Deep cnn唤醒技术双麦克模型波束算法，360度识别 与双模WIFI 蓝牙SOC ESP32结合，高集成度超高性价比实现语音AI以及音频相关能力 与各种安卓、linux芯片集成为onboard方案大幅度降低主CPU带宽和待机功耗，实现唤醒开机4.2.2 语义能力百度智能云天工AIoT平台打造了语义物模型，用户无需关注各种语义和NOP相关概念及复杂度，只需配好设备基本属性动作，底层预置好的模型即可自动生成各种槽位、字段等，从根本上降低语义理解的复杂度。语义能力语义物模型化繁为简（图4.2.2-1）小度小度，把灯调成红色小度小度，关灯 用户前端输入技能解析输出用户前端输入技能解析输出传统方法意图词槽模板特征词设备属性控制动作时间/空间状态语义物模型创建模块：灯(light)属性名称：颜色(color)属性值类型：枚举属性值：红色、绿色、蓝色属性权限：不支持定时支持查询创建模块：灯(light)无属性指令词：关闭(off_light)Module：lightProperty:colorProperty unit:nullAction:toProperty value:redTime duration:nullTime start:nullError code:0Error message:successModule：lightProperty:nullProperty unit:nullAction:off_lightProperty value:nullTime duration:nullTime start:nullError code:0Error message:success214.2.3 开源框架百度智能云天工AIoT平台开源了Du1906-Korvo 框架，基于百度鸿鹄芯片与乐鑫ESP32-DU1906模组，为用户的低算力设备提供语音AI以及音频编解码应用，以及无屏音箱（业内首创）、家电控制、绘本、智慧台灯等多种解决方案，用户在开源框架上可以轻松开发出自己的AIoT应用。开源框架助力应用落地（图4.2.3-1）百度 Du1906-Korvo 语音设备端开源框架地址：https:/ 智能物联网篇224.2.4 订制开发板除了开源框架之外，硬件上百度智能云天工AIoT平台还给用户准备了“订制开发板”功能，采用2mic的设计，可以实现5米准确拾音，3米内85dB播放/打断/唤醒的功能。因为该功能是端云一体，直接跟度家平台绑定，所以用户只要购买服务，一步配置即可实现唤醒识别交互，助力用户快速实现框架功能。订制开发板（图4.2.4-1）采用 2 mic 的设计，可以实现 5 米准确拾音，3 米内 85dB播放/打断/唤醒的功能丰富的外设接口（读卡器，网口，屏幕等），快速开发客户应用端云一体，一步配置即可实现唤醒识别交互 百度智能云天工AIoT平台的语音智能技术已广泛应用在诸如电视等家电领域，大大提升了家电的语音唤醒率和识别率，良好的体验使得用户好感度也大幅提升。除了应用在一般家电场景外，百度智能云天工AIoT平台还基于在端到端方面的技术优势，在一些特殊家电场景中实现了最佳实践，比如扫地机器人在高震动频率和声噪条件轻松进行语音交互，大风燥集成灶的唤醒识别等场景。另外，基于百度鸿鹄芯片的高算力和大内存，语音智能家电可实现针对控制场景的任意说，摆脱了传统语音家电需要依赖指定词，导致用户交互识别率不高、精度不够的问题。23百度智能云天工AIoT平台的视觉智能技术“云智一体”技术与应用解析 智能物联网篇24“云智一体”技术与应用解析 智能物联网篇245.1 视觉智能发展趋势视觉智能AI开发与物边缘部署需求创新高。视觉智能正在被应用到各个行业中，边缘计算给视觉智能带来了更广泛的应用场景。我们可以看到，AI模型定制化需求越来越多，同时AI在边缘部署的需求场景也越来越多。根据百度和波士顿咨询的联合调研，我们发现目前市场上的定制化AI需求占比达到86%。近三年来，百度AI开放平台定制化模型增长超过6倍。同时，根据2020年边缘计算产业研究报告，物联网数据在边缘侧处理占比达到45%，AI模型边缘部署场景比例超过50%。5.2 视觉智能的端到端产品解决方案在视觉智能领域，基于百度智能云天工AIoT平台的技术与能力，百度智能云打造了AIoT视觉智能应用从开发到部署再到落地使用的全流程解决方案，为用户提供端到端的产品解决方案。通过AI中台，为用户提供从数据样本采集、样本标注、模型训练、模型发布能力。通过智能边缘平台，为用户提供应用开发、应用编排、应用部署能力，打通AI模型交付的最后一公里。通过纳管多种多样的边缘节点，如无人机、机器人、边缘AI盒子、边缘服务器等，将云端AI服务延伸到边缘，扩大了AI的服务范围。通过智能硬件来承载AI应用，落地百度AIoT视觉智能场景。视觉智能结合边缘计算拥有广泛的应用场景。目前已经在多个行业落地，包括生产安全、园区安全、工业质检及智能制造等领域。视觉智能AI开发与物边缘部署需求创新高（图5.1-1）86%定制化AI 需求市场占比 6倍AI开放平台 定制AI模型数量增长 AI模型在边缘部署占比45%物联网数据 在边缘处理占比 50%+数据来源：2018年百度&波士顿咨询公司联合调研、百度AI开放平台、2020年边缘计算产业研究报告（IDC、华信）25 AIoT视觉智能产品解决方案（图5.2-1）5.2.1 AI中台通过AI中台为用户提供模型开发能力。百度智能云面向不同用户提供了两套AI模型开发平台：面向业务人员的零门槛AI开发平台EasyDL 面向算法工程师的全功能AI开发平台BML使用EasyDL，用户只需要采集样本数据、上传样本数据即可，后续所有算法都由EasyDL平台自行完成，最后会输出完整AI模型；使用BML，可以满足算法工程师对平台的模型调优、产线建模等全流程需求。5.2.2 百度智能云天工AIoT智能边缘平台一个完整的应用场景，只靠AI模型是不够的，还需要完整的配套业务应用，比如视频抽帧、告警上传、大屏展示等业务应用。百度智能云通过百度智能云天工AIoT智能边缘平台为用户提供应用开发、应用编排、应用部署能力，为边缘AI服务配套打造丰富的边缘业务应用，形成端到端的解决方案，打通视觉智能应用交付的最后一公里。此外，用户可通过EasyEdge实现模型转换，让云端模型可以适配运行在多种边缘设备上，如英伟达的Jetson系列，华为的Atlas系列等。值得一提的是，百度智能云天工AIoT智能边缘平台基于开源baetyl开发。Baetyl的GitHub Star接近1.6K，在物联网边缘领域排名第一。其从2018年12月对外正式发布开源，2019年9月这个开源项目捐出给LF edge，成为了国内首个捐赠项目，也是百度九大捐赠项目之一。Baetyl已经两次获得十大边缘计算产品、百度智能云也因其入选边缘计算20强企业。EasyDL&BML 双轮驱动提升模型开发效率打通应用开发&部署的最后一公里打通端边云应用场景化软硬一体解决方案人脸模型车辆模型行为模型场景模型视频抽帧视频推流告警上报大屏展示门禁面板机测温面板机人脸分析盒安全分析盒AI中台智能硬件百度智能云天工AIoT 智能边缘平台“云智一体”技术与应用解析 智能物联网篇26AIoT视觉智能应用开发与部署方案（图5.2.2-1）数据准备模型构建EasyDL 零门槛