基于热力图像的道路场景稠密多级语义分割方法.pdf

第卷 第期 年月：基 于 热 力 图 像 的 道 路 场 景 稠 密 多 级 语 义 分 割 方 法杨峰（吉 利 汽 车 研 究 院（宁 波）有 限 公 司，浙 江 宁 波）摘要：语 义 分 割 能 帮 助 自 动 驾 驶 实 现 精 准 感 知。为 解 决 彩 色 图 像 在 模 糊 或 昏 暗场 景 下 分 割 效 果 差，提 出 一 种 基 于 彩 色 图 像 和 热 力 图 像 的 多 级 融 合 语 义 分 割 网 络。将 语 义 分 割 任 务 分 解 为个 阶 段，包 括 稠 密 多 级 融 合 特 征 提 取、前 景 显 著 定 位、目标 分 割 任 务 和 边 界 细 化。主 干 网 络 提 取 热 红 外 信 息，将 提 取 后 的 信 息 作 为 辅 助 信息 与 彩 色 图 像 信 息 进 行 融 合，对 融 合 后 的 特 征 进 行 前 景 和 背 景 区 域 的 区 分，并 用 于目 标 分 割 和 边 界 细 化。多 场 景 实 验 仿 真 表 明，本 方 法 能 够 有 效 提 升 模 糊 和 昏 暗 场景 下 的 道 路 场 景 分 割 效 果。关 键 词：道 路 场 景；语 义 分 割；热 力 图 像；热 红 外 信 息中 图 分 类 号：文 献 标 志 码：文 章 编 号：（）（），）：，（），：；收 稿 日 期：作 者 简 介：杨峰（），男，浙 江 绍 兴 人，硕 士，工 程 师，主 要 从事 无 人 驾 驶 技 术 开 发。：；：引言语 义 分 割 是 一 种 图 像 处 理 方 法，被 广 泛 运 用 在 自动 驾 驶、行 人 识 别 和 视 频 监 控 等 智 慧 交 通 领 域。在 自动 驾 驶 领 域，语 义 分 割 能 帮 助 车 辆 对 周 围 道 路 环 境 进行 深 层 次 的 理 解，提 高 车 辆 的 安 全 性 能，是 决 定 车 辆 环境 感 知 能 力 重 要 的 一 环。目 前 主 流 视 觉 感 知 系 统，能 利 用 包 含 丰 富 语 义 信息 的 彩 色 图 像（，），进 行 有 效 场 景理 解。现 有 深 度 学 习 语 义 分 割 方 法 已 能 在 良 好 的 光 照环 境 下 帮 助 车 辆 分 析 道 路 场 景 信 息，自 动 驾 驶 车 辆 在道 路 上 行 驶。在 光 照 条 件 很 弱，例 如 阴 天、夜 间 等，由于 彩 色 相 机 无 法 全 面 地 捕 获 周 围 场 景，基 于图 像的 语 义 分 割 方 法 效 果 可 能 会 明 显 下 降，降 低 无 人 驾 驶第卷汽 车 在 光 照 条 件 很 弱 的 条 件 下 行 驶 过 程 中 的 安 全 性。热 红 外 相 机 获 取 热 力 信 息，可 在 光 线 不 足 的 情 况 下 对图 像 进 行 有 效 的 信 息 补 充，如 图所 示。基 于 热力 图 像 融 合 的 语 义 分 割 方 法 能 有 效 提 升 弱 光 或 黑 暗 条件 下 的 分 割 效 果。彩 色 图 像热 力 图 像标 签 图 像（）夜 间（）夜 间（）夜 间（）模 糊（）模 糊（）模 糊（）阴 天（）阴 天（）阴 天图图 像 对 比 本 文 提 出 一 种 基 于 彩 色 图 像 和 热 力 图 像（，）的 稠 密 多 级 融 合 语 义 分 割网 络。更 深 层 次 的 特 征 包 含 更 丰 富 的 语 义 信 息，网 络通 过 稠 密 多 级 融 合 结 构 融 合 多 级 图 像 特 征，复 用 深 层次 特 征 与 低 级 特 征 进 行 融 合，能 有 效 提 升 高 分 辨 率 特征 语 义 信 息。通 过 对 融 合 特 征 进 行 显 著 定 位，区 分 图像 前 景 和 背 景，结 合 空 间 注 意 力 机 制，使 融 合 特 征 更 加专 注 于 前 景 目 标，提 升 后 续 分 割 任 务 的 性 能。本 文 还将 融 合 特 征 用 于 边 界 监 督 学 习，提 高 边 界 特 征 表 达 能力，细 化 分 割 边 界。本 文 提 出 的 多 任 务 网 络 监 督 学 习方 法，可 提 高 模 型 特 征 表 达 能 力，有 效 提 升 模 型 效 果。本 文 贡 献 如 下：（）提 出 一 种 新 的 用 于 道 路 场 景 分 析 的语 义 分 割 方 法。将 语 义 分 割 任 务 分 成 了个 阶 段，包括 稠 密 多 级 融 合 特 征 提 取、前 景 显 著 定 位 任 务、目 标 分割 任 务 和 边 界 细 化 任 务。（）提 出 一 个 新 的 稠 密 多 级 融 合 模 块（），用 于 提 取 多 级 特 征，减 少 上 下 文 语 义 信息 的 丢 失。同 时 提 出 一 个 新 的 空 间 注 意 力 机 制 模 块（）用 于 学 习 前 景 区 域 权 重 和 为 目 标 分 割 任 务 提 供显 著 信 息。（）通 过 对 公 共 数 据 集 的 仿 真，将 所 提 方 法 与 现有 的 高 性 能 语 义 分 割 方 法 进 行 了 比 较，并 证 实 了 本 文所 提 出 的 方 法 和 新 模 块 的 优 越 性。相 关 方 法 发 展 概 况 语 义 分 割深 度 学 习 极 大 地 提 升 了 语 义 分 割 方 法 的 性 能。等首 次 提 出 基 于 全 卷 积 神 经 网 络 的 语 义 分 割方 法，验 证 了 使 用 全 卷 积 神 经 网 络 方 法 相 对 于 传 统 手工 提 取 特 征 的 方 法 有 明 显 提 升。等提 出 金 字塔 场 景 解 析 网 络 通 过 金 字 塔 池 化 模 块 融 合 不 同 层 次 的信 息 来 提 取 全 局 特 征。等提 出 自 适 应 金 字 塔 上下 文 网 络，总 结 了 上 下 文 特 征 在 语 义 分 割 中 的个 特性，并 对 深 层 上 下 文 融 合 的 语 义 分 割 方 法 进 行 了 比 较。仿 真 结 果 表 明，这 些 多 尺 度 上 下 文 信 息 提 取 方 法 能 提升 模 型 特 征 表 达，无 法 充 分 利 用 全 局 上 下 文 信 息，存 在一 定 局 限 性。多 模 态 语 义 分 割现 有 多 模 态 语 义 分 割 主 要 包 括图 像 和 深 度图 像（，）结 合 以 及图 像 和图 像 结 合 的 语 义 分 割 方 法。等提出 一 种 双 分 支 的语 义 分 割 模 型，通 过 主 干 网 络提 取 不 同 层 次 的 特 征，从 高 级 特 征 到 低 级 特 征 依 次 进行 融 合，验 证 了 多 模 态 特 征 融 合 的 有 效 性。一 些 研究注 重 后 期 融 合 策 略，这 些 策 略 忽 视 了 特 征 融 合过 程 中 的 高 级 特 征 信 息。等提 出 的 面 向 多 光 谱场 景 的 自 动 驾 驶 实 时 语 义 分 割 方 法，验 证 了 在 光 照 条件 差 的 情 况 下，热 红 外 相 机 采 集 的 图 像 可 提 供 额 外 有用 的 信 息。等使 用个 主 干 网 络 分 别 提 取图 像 和 热 力 图 像 特 征，通 过 一 个 解 码 器 恢 复 图 像 空 间分 辨 率，忽 略 了 低 级 特 征 的 融 合。等在 解 码 阶段 通 过 跳 跃 连 接，融 合 多 尺 度 特 征，验 证 了 在 光 照 不 充足 的 情 况 下，热 力 图 像 可 帮 助 检 测 和 分 割 物 体。等则 在 解 码 阶 段 增 加 特 征 增 强 模 块，提 升 模 型 的 特征 表 达 能 力。模 型 设 计本 文 所 提 网 络 总 体 架 构 如 图所 示。语 义 分 割 任 务 包 括 稠 密 多 级 融 合 特 征 提取 和个 多 任 务 分 支，即 前 景 显 著 定 位，目 标 分 割 和 边界 细 化 等 任 务。在 稠 密 多 级 融 合 特 征 提 取 阶 段，主 干网 络 先 提 取 热 红 外 信 息，并 将 提 取 的 信 息 作 为 辅 助 信息，通 过 稠 密 多 级 融 合 模 块 与主 干 网 络 进 行 多 模态 信 息 融 合，融 合 后 的 多 尺 度 信 息 再 次 通 过 稠 密 多 级融 合 模 块 对 上 下 文 信 息 进 行 有 效 融 合。融 合 后 的 特 征用 于 前 景 显 著 定 位 任 务，结 合 空 间 注 意 力 机 制 可 使 模型 关 注 前 景 目 标 特 征，有 效 提 升 特 征 的 表 达 能 力。边界 细 化 任 务 能 提 升 模 型 边 界 特 征 提 取 能 力，细 化 语 义分 割 任 务 中 不 同 目 标 的 边 界。稠 密 多 级 融 合 特 征 提 取深 度 卷 积 神 经 网 络 通 过 下 采 样 来 提 高 模 型 的 感 受野，提 取 图 像 深 层 次 语 义 信 息，在 下 采 样 过 程 中，图 像的 小 目 标 信 息 和 边 界 信 息 也 会 丢 失。高 层 次 语 义 信 息能 有 效 地 用 于 目 标 理 解，而 低 级 特 征 包 含 的 边 界 信 息对 目 标 分 割 边 界 的 恢 复 尤 为 重 要。本 文 提 出 稠 密 多 级第期杨峰：基 于 热 力 图 像 的 道 路 场 景 稠 密 多 级 语 义 分 割 方 法：卷 积 操 作，、：倍 上 采 样、倍 上 采 样、倍 上 采 样，：相 加 操 作，：相 乘 操 作，：拼 接 操 作图网 络 整 体 结 构融 合 模 块 如 图所 示，对 低 级 特 征 和 高 级 特 征 进 行 有效 融 合，有 效 利 用 多 尺 度 信 息，并 注 重 高 级 特 征 的 重用，来 为 前 景 显 著 定 位 任 务 提 供 充 分 的 全 局 特 征，同 时保 留 目 标 边 界 特 征。图稠 密 多 级 融 合 模 块 本 文 使 用作 为 模 型 的 主 干 网 络，移除 其 全 连 接 层 并 保 留个 卷 积 块。使 用对热 力 图 像 进 行 特 征 提 取，其个 卷 积 块 的 输 出 作 为 稠密 多 级 融 合 模 块（）的 输 入，该 模块 的个 输 出 和主 干 网 络 的 不 同 层 次 特 征 进 行多 模 态 信 息 融 合。融 合 后 的 不 同 层 次 特 征 作 为 稠 密 多级 融 合 模 块（）的 输 入。稠 密 多 级融 合 模 块 将个 不 同 层 级 的 特 征 作 为 输 入，通 过 密 集连 接 结 构，复 用 高 层 语 义 信 息 与 低 级 特 征 融 合，使 高 分辨 率 低 级 特 征 包 含 更 丰 富 的 高 层 语 义 信 息。稠 密 多 级融 合 模 块 使 用 的 卷 积 和 上 采 样 操 作 将 不 同 大 小的 特 征 统 一 尺 寸 并 进 行 拼 接。通 过 一 个 的 卷 积对 不 同 等 级 之 间 的 特 征 进 行 信 息 融 合。整 个 模 块 在 尽量 不 增 加 过 多 计 算 成 本 的 情 况 下，考 虑 不 同 等 级 特 征之 间 的 融 合 和 显 著 特 征 的 充 分 提 取。前 景 显 著 定 位 任 务参 考 空 间 注 意 力 机 制 思 想，提 出 新 的 空 间 注 意力 机 制 模 块（）如 图所 示。图空 间 注 意 力 机 制 模 块 前 景 显 著 定 位 任 务 结 合 多 级 融 合 特 征，对 图 像 前景 背 景 进 行 分 类，促 使 空 间 注 意 力 机 制 模 块 中 的 权 重特 征 学 习 到 前 景 信 息。不 同 层 次 的 融 合 特 征 通 过 空 间注 意 力 机 制 模 块 得 到 的 加 权 融 合 特 征 更 加 关 注 图 像 中的 前 景 区 域，有 利 于 降 低 后 续 目 标 分 割 任 务 和 边 界 细化 任 务 的 难 度。前 景 显 著 定 位 任 务 提 取个 注 意 力 机制 模 块 中 的 权 重 特 征、和，其 中 更 高 层 次 的低 分 辨 率 特 征 通 过 卷 积 和 上 采 样 保 持 和特 征有 相 同 的 尺 寸，这个 同 样 大 小 的 特 征 先 进 行 拼 接，通过 一 个 的 卷 积 和倍 的 上 采 样，通 过 一 个 的 卷 积 和倍 的 上 采 样，恢 复 到 原 始 图 像 分 辨 率。目 标 分 割 任 务目 标 分 割 任 务 将 之 前 获 取 的 多 级 加 权 融 合 特 征 进行 组 合，并 引 入 通 道 注 意 力 机 制 模 块（），对 特 征映 射 通 道 进 行 选 择 性 加 权，提 高 融 合 特 征 表 征 能 力。使 用 像 素 级 分 类 器（）对 图 像 的 每个 像 素 进 行 类 别 分 类。像 素 级 分 类 器 为 一 个 的第卷卷 积 和 两 倍 的 上 采 样 以 及 一 个 的 卷 积 和倍 的上 采 样 的 组 合 结 构。边 界 细 化 任 务图中、和包 含 低 级 特 征，即 目 标 的细 节 特 征 和 边 界 信 息，同 时 融 合 有 高 层 语 义 信 息，有 利区 分 不 同 的 目 标 主 体，细 化 不 同 目 标 之 间 的 边 界。边界 细 化 任 务 通 过 边 界 分 类 器（）引 导模 型 学 习 边 界 特 征。损 失 函 数使 用 带 权 重 的 交 叉 熵 损 失 函 数（）作 为 前 景显 著 定 位 任 务、目 标 分 割 任 务 和 边 界 细 化 任 务 的 损 失函 数（，）（）（）式 中：为 输 入 像 素 的 总 数；为 语 义 类 别 数 量；（），其 中为 每 个 类 别 的 比 例。仿 真 分 析 仿 真 细 节本 文 使 用道 路 场 景 数 据 集 做 相 关 仿 真，每 张 图 像 的 分 辨 率 为 ，一 共 包 含 份 由 相 机 捕 获 的 成 对图 像 和 热 力 图 像 样本 以 及 对 应 的 语 义 分 割 标 签。在 这 些 图 像 中，份图 像 是 在 白 天 采 集 的，份 图 像 是 夜 间 采 集 的。此数 据 集 的 语 义 分 割 标 签 包 含个 前 景 物 体 标 签（交 通锥、减 速 带、车 道 线、汽 车、行 人、自 行 车、挡 车 器、护栏）和个 背 景 标 签。训 练 集 包 含个 白 天 样 本 和个 夜 间 样 本，验 证 集 包 含个 白 天 样 本 和个 夜 间 样 本，测 试 集 包 含个 白 天 样 本 和个 夜间 样 本。整 个 数 据 集 样 本 里 背 景 占 像 素 总 量 的，其 中 栏 杆 类 别 只 有，这 极 大 地 增 加了 语 义 分 割 难 度。对 数 据 集 的 原 始 样 本 使 用 随 机 亮度、对 比 度 和 饱 和 度 变 换 以 及 随 机 的 高 斯 模 糊、随 机 水平 翻 转、随 机 缩 放 和 裁 剪 的 操 作 来 丰 富 训 练 样 本。仿 真 使 用 的 深 度 学 习 框 架 是。仿 真 使用优 化 器，权 重 衰 减 系 数 为 。将设 置 为，初 始 学 习 率 为，设 置 为。使 用“”学 习 率 衰 减 策 略，其 指 数 系 数 为。仿 真 对 比本 文 的 方 法 和、和个 语 义 分 割 方 法 做对 比。表列 出 了数 据 集 里个 类 别 分 别 的 像 素准 确 率（）和 交 并 比（）以 及 总 体 的 平 均 像 素 准确 率（）和 平 均 交 并 比（）的 仿 真 结 果。各 指标 结 果 值 越 大 越 好，所 提 方 法 基 本 都 优 于 其 他 方 法。为 更 进 一 步 验 证 所 提 的 方 法，分 别 用 白 天 图 像 和 夜 间图 像 测 试，表总 结 了 比 较 结 果。表各 类 别 分 割 结 果模 型汽 车行 人自 动 车车 道 线挡 车 器护 栏交 通 锥减 速 带 本 文 算 法 注：像 素 准 确 率，：交 并 比，：平 均 像 素 准 确 率，：平 均 交 并 比。如 图所 示，在 昏 暗、曝 光 等 场 景 下，所 提 方 法 仍能 对 图 像 中 的 物 体 进 行 准 确 定 位，生 成 精 确 连 贯 的 语义 分 割 图 像。当图 像 无 法 获 取 周 围 语 义 信 息，热力 图 像 可 进 行 一 个 有 效 的 补 充。如 图所 示，显 著 图像 能 很 好 地 区 分 前 景 目 标，减 少 目 标 分 割 任 务 中 背 景信 息 对 前 景 目 标 的 干 扰，边 界 监 督 也 能 细 化 不 同 目 标之 间 的 分 割 边 界。消 融 仿 真为 验 证 本 文 所 提 出 关 键 内 容 的 有 效 性，使 用 相 同的 参 数，在数 据 集 进 行 消 融 仿 真，仿 真 结 果 见表。（）稠 密 多 级 融 合 模 块 的 有 效 性。设 计 一 个 变 体模 型，该 模 型 去 除 了 本 文 方 法 中 的 两 个 稠 密 多 级融 合 模 块，直 接 将 热 力 图 像 通 过 个 卷 积 块第期杨峰：基 于 热 力 图 像 的 道 路 场 景 稠 密 多 级 语 义 分 割 方 法表白 天 和 夜 间 图 像 仿 真 结 果模 型白 天夜 间 本 文 算 法 的 输 出 和图 像 通 过 个 卷 积 块 的 输 出对 应 相 加，得 到个 输 出 结 果 依 次 代 替 图中 的、和。此 变 体 模 型的 仿 真 结 果 见 表，与 具 有稠 密 多 级 融 合 模 块 的 原 方 法 相 比，性 能 变 差，此 充 分 说明 了 所 提 出 的 新 型 稠 密 多 级 融 合 模 块 的 优 越 性。（）前 景 显 著 定 位 的 有 效 性。设 计 一 个 变 体 模 型，该 模 型 去 除 了 图中 第阶 段 前 景 显 著 定 位 的内 容，包 括个 新 型 空 间 注 意 力 机 制 模 块，一 个 前 景 分类 器 和 前 景 监 督。此 变 体 模 型的 仿 真 结 果 见 表，与 具 有 前 景 显 著 定 位 内 容 的 原 方 法 相 比，性 能 明 显变 差，充 分 说 明 所 提 前 景 显 著 定 位 内 容 的 显 著 区 域 区分 能 力。图仿 真 结 果 对 比表各 模 型 下 消 融 仿 真 结 果模 型 本 文 算 法 （）边 界 细 化 的 有 效 性。设 计 一 个 变 体 模 型，该 模 型 去 除 了 图中 第阶 段 边 界 细 化 的 内 容，此 变体 模 型的 仿 真 结 果 与 具 有 边 界 细 化 内 容 的 原 方 法相 比 明 显 变 差，具 体 数 据 见 表。这 证 明 了 第阶 段边 界 细 化 内 容 的 重 要 性。结语本 文 提 出 一 种 基 于 深 度 学 习 的道 路 场 景语 义 分 割 方 法，此 方 法 不 光 将 语 义 分 割 任 务 细 化 成个 阶 段，这个 阶 段 相 辅 相 成，每 个 阶 段 都 对 网 络 做 了特 定 的 优 化，还 引 入个 新 模 块，本 方 法 在 道 路 场 景 数据 集 上 表 现 出 了 极 大 的 优 越 性。有 望 为 无 人 驾 驶 车 辆对 道 路 场 景 感 知 方 向 的 新 技 术 做 出 贡 献。参 考 文 献（）：，（）：，：，：，：，：，（）：，：，第卷：，：，：，：，：（）：（），：，：，（）：，：，（）：，：，（）：，：，：，：，：，：，：，：（）：，：，：，：，：，：，：，：，：，：，：，：，：，（）：，：，：檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿檿殨殨殨殨四 个 现 代 化，关 键 是 科 学 技 术 的 现 代 化。没 有 现 代 科 学 技 术，就不 可 能 建 设 现 代 农 业、现 代 工 业、现 代 国 防。科 学 技 术 是 生 产 力，这 是 马 克 思 主 义 历 来 的 观 点。现 代 科 学 技术 的 发 展，使 科 学 与 生 产 的 关 系 越 来 越 密 切 了。科 学 技 术 作 为 生 产力，越 来 越 显 示 出 巨 大 的 作 用。现 代 科 学 为 生 产 技 术 的 进 步 开 辟 道路，决 定 它 的 发 展 方 向。一 系 列 新 兴 的 工 业，都 是 建 立 在 新 兴 科 学 基础 上 的。当 代 自 然 科 学 正 以 空 前 的 规 模 和 速 度，应 用 于 生 产，使 社 会物 质 生 产 的 各 个 领 域 面 貌 一 新。社 会 生 产 力 有 这 样 巨 大 的 发 展，劳动 生 产 率 有 这 样 大 幅 度 的 提 高，靠 的 是 什 么？最 主 要 的 是 靠 科 学 的力 量、技 术 的 力 量。摘 自 邓 小 平 在年月 全 国 科 学 大 会 开 幕 式 上 讲 话