环境感知与识别.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Chapter 5,环境感知与识别,Outline,5.1 环境感知与识别概述,5.2 障碍物检测,5.3 车道线检测,5.4 红绿灯检测,5.5 场景流,5.6 基于V2X的道路环境感知技术,5.7 基于pytorch的红绿灯检测试验,5.8 本章小结,5.1 环境感知与识别概述,1.环境感知对象,行驶途径,构造化道路：车道线、道路边缘、道路隔离物、恶劣路况,非构造化道路：可行驶途径确实认、前方路面环境的识别,周围物体,包括车辆、行人、地面上也许影响车辆通过性、安全性的其他多种移动或静止障碍物的识别及多种交通标志的识别,驾驶状态,驾驶环境,5.1 环境感知与识别概述,2.传感器系统,摄像头,车道线检测,红绿灯识别,障碍物识别：通过深度学习把障碍物进行细致分类,激光雷达,车道线检测,障碍物识别：能分某些大类，完毕对物体距离的精确定位,毫米波雷达,车道线检测,障碍物识别：障碍物运动速度、方位等识别,5.2 障碍物检测,5.2.1 基于图像的障碍物检测,5.2.2 基于激光雷达的障碍物检测,5.2.3 基于视觉和激光雷达融合的障碍物检测,5.2.1,基于图像的障碍物检测,一阶段检测算法,YOLO,SSD,速度快,二阶段检测算法,R-CNN,Faster R-CNN及其改善,精确度高,5.2.1,基于图像的障碍物检测,1.基于图像的2D障碍物检测,YOLO(You Only Look Once),将物体检测作为回归问题,得到所有物体的位置,物体对应的类别和置信概率,训练和检测均在单独的网络中进行,无显式求取候选框的过程,设计理念,网络定义,输出体现定义,损失函数定义,5.2.1,基于图像的障碍物检测,1.基于图像的2D障碍物检测,SSD(Single Shot Multibox Detector),直接在图像中不一样位置进行边界框采样，使用卷积层进行特性提取、分类、回归,设计理念,使用不一样尺度下的特性图进行检测,采用卷积层做检测,采用不一样尺度和纵横比的候选框,损失函数定义,5.2.1,基于图像的障碍物检测,SSD基本框架,SSD与YOLO网络构造比较,5.2.1,基于图像的障碍物检测,1.基于图像的2D障碍物检测,Faster R-CNN,二阶段检测算法如RCNN和FastRCNN无法做到端到端训练,设计理念,特性提取模块,候选框生成模块(RPN),边框回归和目的分类模块,将上述三个模块整合到一种网络，综合性能大大提高,5.2.1,基于图像的障碍物检测,RCNN系列构造图，从RCNN、Fast RCNN到Faster RCNN,Faster R-CNN将三个模块整合到一种网络,5.2.1,基于图像的障碍物检测,2.基于图像的3D障碍物检测,YOLO、Faster R-CNN可以精确给出障碍物的位置,现实场景还需要目的物体的长宽高、空间、朝向和偏转角等信息,综合运用单目相机、双目相机和多线激光雷达进行3D障碍物检测,5.2.1,基于图像的障碍物检测,3D,障碍物检测以及鸟瞰效果示意图,5.2.1,基于图像的障碍物检测,2.基于图像的3D障碍物检测,YOLO 3D,Encoder模块,在Darknet基础上加入更深的卷积层并添加反卷积层,高辨别率多通道特性图捕捉图像细节,深层低辨别率多通道特性图编码上下文信息,Decoder模块,语义分割，用于车道线检测,基于YOLO的物体检测，同步输出物体3D信息,运用地面平行假设，减少所需要预测的3D参数,5.2.1,基于图像的障碍物检测,Apollo,中,YOLO,3D,流程示意图,5.2.2,基于激光雷达的障碍物检测,1.基于几何特性和网格,几何特性：直线、圆和矩形等,对雷达数据进行处理，用聚类算法与几何特性进行对比，可以与光谱特性进行结合，从多种维度进行障碍物识别,网格：对于非构造化道路，障碍物形状复杂，几何特性难以识别,将雷达数据投影到网格地图中，用无向图措施进行处理,5.2.2,基于激光雷达的障碍物检测,2.VoxelNet障碍物检测,激光雷达数据需要大量人工流程进行标注,VoxelNet,一种统一的端到端网络，消除了手动提取特性的过程，同步让网络高效地处理雷达数据,侧重于将点云数据直接作为输入，得到检测成果 从单一的全局特性到与局部特性结合，从点云数据特性出发，减少计算量，提高效率,5.2.2,基于激光雷达的障碍物检测,重要构成模块：特性学习网络、中间卷积区、区域提议网络RPN,5.2.2,基于激光雷达的障碍物检测,特性学习网络,将点云划分为体素形式，提取特性，得到特性向量,环节：体素划分、分组、随机抽样、堆叠体素特性编码和稀疏张量表达,中间卷积层,对特性向量进行3D卷积，得到全局特性,区域提议网络RPN,特性整合，输出预测概率，给出成果,5.2.3,基于视觉和激光雷达融合的障碍物检测,摄像头方案成本低，可以识别不一样物体，但作用距离和测距精度不如毫米波雷达，轻易受天气和光照影响,毫米波雷达不易受天气和光照影响，测距精度高，但难以识别车道线、交通标志等元素,两者融合，通过视觉获取语义信息，通过激光雷达获得精确的位置信息,5.2.3,基于视觉和激光雷达融合的障碍物检测,空间融合,建立精确的雷达、三维世界、摄像机、图像和像素坐标系之间的转换关系,将不一样传感器坐标系的测量值转换到同一种坐标系下,时间融合,各类传感器在时间采集上同步,以摄像机采样为基准，摄像机每采一帧图像，选用雷达上一帧缓存的数据，进行融合,5.3 车道线检测,5.3.1 基于老式视觉的车道线检测,5.3.2 基于深度学习的车道线检测,5.3.3 基于激光雷达的车道线检测,5.3.1 基于老式视觉的车道线检测,老式视觉措施重要高度定义化的手工特性提取和启发式的措施，重要分为,1.基于道路特性,颜色特性,灰度特性与彩色特性,纹理特性,多特性融合,2.基于道路模型,直线和抛物线模型,双曲线模型,5.3.2,基于深度学习的车道线检测,老式车道线检测需要人工提取特性，道路构造复杂，车道线种类繁多，人工工作量大且鲁棒性差。,将问题当作分类或分割问题，用神经网络去替代滤波算子,5.3.2,基于深度学习的车道线检测,1.LaneNet+H-Net车道线检测,LaneNet将车道线检测转换为实例分割问题,拆分为语义分割和聚类两个部分,输出实例分割成果,每条车道线一种标识ID,H-Net负责对同一车道线的像素点进行回归,输出转换矩阵，对车道线进行修正,拟合一种三阶多项式作为预测的车道线,5.3.2,基于深度学习的车道线检测,5.3.2,基于深度学习的车道线检测,Embedding负责对像素进行嵌入表达，训练得到嵌入向量进行聚类,Segmentation对输入的图像进行语义分割，对像素点进行二分类，判断属于车道线还是背景。最终将两个分支的成果结合得到最终车道线检测的成果。,5.3.2,基于深度学习的车道线检测,2.,SCNN,车道线检测,CNN,对遮挡的车道线识别效果较差,SCNN,使像素行和列之间可以传递信息,5.3.2,基于深度学习的车道线检测,将老式卷积层接层(layer-by-layer)的连接形式转为feature map中片连片(slice-by-slice)的形式,相比于条件随机场和马尔可夫随机场，冗余信息少，信息传递有序，计算量小,对于空间性强但外观线索不明显的车道线识别效果好,5.3.3,基于激光雷达的车道线检测,激光雷达有效采样点多、可以穿透水面并且不受天气影响，但激光雷到达本高,通过反射强度信息来进行车道线检测,基于激光雷达反射强度信息形成的灰度图，或者和高程信息结合，过滤出无效信息，进行车道线拟合,不一样物体回波强度不一样，对回波强度变化点提取标识，结合高程信息过滤出的可行驶区域，进行去噪、拟合，提取车道线,5.3.3,基于激光雷达的车道线检测,介质,回波强度,可能的物体分类,沥青、混凝土,5,8,道路、房屋等,特性涂层,12,30,车道线,植被、金属,45,150,树木、车辆等,不一样物体回波强度,5.4 红绿灯检测,5.4.1 基于老式视觉措施的红绿灯检测,5.4.2 基于深度学习的红绿灯检测,5.4.3 高精地图结合,5.4.1 基于老式视觉的红绿灯检测,老式视觉措施运用颜色、边缘等浅层特性，重要分为,1.基于颜色和边缘信息颜色特性,2.基于背景克制,5.4.2,基于深度学习的红绿灯检测,老式措施使用浅层特性，鲁棒性差。,红绿灯检测可以看做是小目的检测，目前深度学习措施在小目的检测上有着不错的体现，并且大多是在特性提取上做文章，让网络生成的特性更适合小目的。,5.4.2,基于深度学习的红绿灯检测,1.FPN红绿灯检测,对于深度网络来讲，其原生的卷积网络特性决定了天然的金字塔构造。深度网络在目的检测领域的应用,二阶段检测算法,使用多尺度特性,多尺度特性融合,不一样尺度特性负责不一样大小的目的框,5.4.2,基于深度学习的红绿灯检测,2.特性融合SSD红绿灯检测,特性融合SSD是在一阶段检测算法SSD基础上对小目的检测做的某些改善，该方式使用多尺度特性融合将上下文信息引入到SSD中协助检测红绿灯这种小目的。,5.4.2,基于深度学习的红绿灯检测,2.特性融合SSD红绿灯检测,一阶段检测算法,浅层与深层的特性融合,为小目的生成丰富的细节信息,速度较快，更适合无人驾驶,5.4.3,高精地图结合,获取红绿灯世界坐标需要结合高精地图,高精度、精细化定义,协助无人驾驶决策,减少计算负荷,5.7 基于pytorch的红绿灯检测试验,5.7.1 Apollo红绿灯数据集,5.7.2 试验流程,5.7.1,Apollo,红绿灯数据集,Apollo,的数据平台开放了,大量人工标注数据集,激光点云障碍物检测分类,红绿灯检测,Road Hackers,基于图像的障碍物检测分类,障碍物轨迹预测,场景解析。,5.7.1,Apollo,红绿灯数据集,试验数据集,红绿灯检测数据集,包括了大量人工标注的行车场景图片,红绿灯的位置信息以及类别信息已经被标识,进行模型的训练和测试,5.7.2 试验流程,1.数据处理,将数据处理成coco数据集的格式，以便使用,数据集划分,训练集：82张图片,验证集：18张图片,测试集：100张图片,2.调整参数,环境参数,模型参数,5.7.2 试验流程,3.训练及测试,每个epoch保留一次模型,使用最终一种epoch保留的模型进行测试,4.检测成果展示,5.7.2 试验流程,4.检测成果展示,5.7.2 试验流程,本章知识点小结（思维导图）,Thank you,！,