【智能传感器与嵌入式技术应用】聚焦深度视觉赋能智慧生活.pdf

聚焦深度视觉，赋能智慧生活演讲人：姜涛地点 上海 本文件为舜宇智能光学专有之财产，非由书面许可，不得以其他形式使用。舜宇集团发展历程单反相机数码相机显微镜手机汽车安防扫地机机器人1985照相机镜片手机镜头20032004手机摄像模组车载镜头1991显微镜舜宇智能光学成立20152017纳入香港恒生指数成份股1995年营收突破1亿元2006年营收突破10亿元2015年营收突破100亿元2025年营收突破1000亿元1984公司成立，进入光学产业2007香港联交所主板成功上市传统光学现代光学智慧光学元宇宙 从2D成像到3D感知 2D-2D-成像成像结构光双目TOF3D-3D-感知感知 主流3D视觉技术 双目视觉结构光视觉iTOF视觉LDS/dTOF基本原理双目视差法特征点提取与匹配三角测量法主动投射特征点飞行时间差测距采样反射光束，计算时间差三角测量法/飞行时间法主动投射特征点特点依赖光照和环境纹理计算量巨大量程和精度受限于基线大小不依赖光照和环境纹理计算量适中量程和精度受限于基线大小不依赖光照和环境纹理计算量小无基线要求，易小型化不依赖光照和环境纹理计算量小主流3D视觉 从人眼视觉到机器视觉 人看机器看颜色信息 深度信息 深度信息颜色信息0.50m3.00m1.00m1.50m2.00m2.00m浅灰深棕深灰土黄蓝灰炭黑2DVSLAM双目被动双目深度AI识别线结构光主动双目深度 视觉产品总览 TOF广角TOF线性TOFTOF-RGB结构光面结构光双目结构光USB相机3D视觉物体识别人脸识别眼球追踪姿态识别机 器 人视 觉识别场景重建建图导航定位测量检测智能避障舜 宇 智 能 光 学元 宇 宙智 慧 家 庭智 慧 商 用智 慧 工 业 元宇宙-AR&VR RGB/TOF模组RGB/TOF模组全彩透视手势识别RGB6DOF定位眼球/面部追踪TOFGSIR全景曝光模组全景曝光模组前视深度-避障前视RGB-识别前视RGBD-SLAM避障顶视RGB/IR-VLSAM-RGBD融合-高精度-三维感知-1%-障碍物识别-实时视频传输-小体积-大视角-170 智慧家庭-扫地机器人 远程监控视频通话夜间安防定点配送RGB模组IR模组TOF模块RGBIRTOF 智慧家用-陪伴机器人 智慧家庭-智能门锁 双目IR人脸识别结构光掌纹识别双目RGB+IR智能门防夹视频通话RGBTOF双目、结构光相机猫眼模组掌纹识别模组TOF相机 智慧家庭-智能电视 人脸识别手势识别运动监测视频通话RGB/结构光相机4K RGB2K RGB结构光RGB 智慧家庭-智能健身镜 2D 姿态识别3D 姿态识别游戏感应RGBD相机RGB相机TOF模组RGBRGBDTOF 智慧家庭-智能台灯 坐姿纠正文本识别学习辅助TOFRGBRGBRGB模组模组TOF模组模组 智慧商用-商用机器人 人脸识别交互机器调度、梯控交互物机交互IR相机TOF相机RGBD相机LidarRGB相机RGBRGB双目结构光 智慧商用-人身核验 人脸识别-闸机人脸识别-门禁人脸识别-支付掌纹识别-支付结构光RGB+IRRGB+IRRGB+IR货架识别路径规划货物距离识别焊接追踪RGBD相机焊缝追踪相机Lidar广角TOF相机广角TOFRGBD 智慧工业-工业机器人 广角TOF线激光焊缝传感视觉定位SDK视觉识别SDK元宇宙解决方案智慧家庭解决方案智慧商用解决方案智慧工业解决方案智能建图智能定位运动控制路径规划智能避障人脸识别物体识别行为识别活体检测目标跟踪手势识别Deep Learning算法引擎SLAM算法引擎机器人运动引擎设备驱动单元NPU优化单元ARM优化单元处理器平台库RGB IR Camera核心主板TOF传感器双目 CameraLDSLinux&Android&Windows算法引擎驱动引擎核心主板&传感器3D数据处理引擎硬件层驱动层算法层系统层一站式交互、识别、定位解决方案舜宇自研舜宇自研高校合作企业合作建图定位方案-SLAM算法应用场景：遥控建图酒店，商场，医院，办公楼等大型场景自动建图-家居等小型场景算法特点与优势：动态地图更新，地图智能分区惯性、视觉、深度融合建图与定位，解决各种复杂环境下的建图与定位问题支持TOF，激光雷达等传感器舜宇1500平米办公室建图动态避障方案-路径规划&避障算法应用场景：覆盖式路径规划点到点的路径规划：送餐机器人，酒店机器人，配送机器人，迎宾机器人目标跟踪：迎宾机器人，服务机器人算法特点与优势：结合机器视觉，AI-3D避障自动规划最短路径服务机器人动态避障应用场景：刷脸支付 会员识别 刷脸解锁算法特点：金融级别安全性，通过BCTC增强级认证（TOF和结构光）应用场景：手势控制算法特点：3D手部关键点定位 静态手势和动态手势识别人机交互算法手势识别人脸识别手势识别人脸识别应用场景：看护机器人，跌倒检测 体感交互算法特点：3D姿态估计，14个关键点定位应用场景：智能避障 安防场景 物体抓取算法特点：2D神经网络+3D点云辅助人、物识别算法姿态识别物体识别姿态识别物体识别舜宇机器人视觉生态建设生态布局光学器件图像传感视觉算法平台芯片自研合作嵌入式层硬件层驱动层系统方案层标准SDK及文档视觉解决方案技术支持开发者论坛