一种船舶历史活动热力图实时生成策略.pdf

（）指挥控制与仿真 引用格式：梁晶晶，魏乾一种船舶历史活动热力图实时生成策略指挥控制与仿真，（）：，（）：一种船舶历史活动热力图实时生成策略梁晶晶，魏 乾（中国人民解放军 部队，北京）摘 要：在船舶信息大数据系统中，针对在客户端向服务器请求大批量历史数据并实时绘制热力图时，会出现耗时较长、热力图效果失真以及地图软件漫游时跟随性差或卡顿等问题，提出一种改进的船舶历史活动热力图实时生成策略。该策略在基于像素聚类思想的热力图生成方法基础上，采用基于非线性变换的图像增强算法和像素补点方法，对传统方法绘制的热力图所存在的显示失真问题进行校正和优化，并在此基础上，提出动态加载与绘制策略和多线程实时成图策略，来生成船舶历史活动的热力图。试验表明，所提出策略在热力图绘制的效率、成图效果以及地图软件的交互体验上都得到了提升。关键词：大数据；热力图；失真校正；多线程；实时生成中图分类号：；文献标志码：，（，）：，：；收稿日期：修回日期：作者简介：梁晶晶（），男，高级工程师，研究方向为指挥信息系统。魏 乾（），男，正高级工程师。近年来，海上船舶数量不断增加，大数据技术也逐渐得到了普及应用。大数据系统中积累的海量船舶历史航迹数据，需要借助一些特殊的数据可视化方法进行表达以方便普通用户进行规律分析等。在诸多可视化方法中，热力图（，也称热图）是一种用来表达一定区域内大量数据点的某种特征的空间态势及分布状况的方法，即用热图点的位置来对应地理位置，通过该点的特征值表达地理对象某要素、特征或属性，并作线性拉伸，在对应的地理空间位置上表达出第三维数值的大小变化特征。第三维数值可表示某种属性、特征，也可直接用于反映数据点密度，这正符合船舶历史活动特征表达的需求。国内外已经有很多关于热力图的研究和应用。孔立斌基于热力图研究了车辆目标检测方法和加权特征融合方法；赵婷等通过热力图可视化，结合地理标签数据研究了全球地震带的变迁过程；常春慧基于百度热力图，提取受灾人口动态时空分布特征信息，获取不同时刻人口的数量动态数据，解决了传统人口普查无法反映动态人口数量和空间分布的难题；张俊涛等设计了一种基于 技术的网络热力图；丁文浩基于 以热力图直观地展现了小麦赤霉病预测的发病地区和等级；通过热力图展示建筑空间的密度情况以评估建筑分布情况；聂俊岚引入四叉树结构优化热力图以提高热图生成效率；杨振凯提出一种基于像素的绘制热力图算法，解决了百万级数据成图时绘制效率低的问题。可见热力图已经成为数据特征可视化的重要手段。尽管关于热力图的研究有很多，但大多没有提及大数据实时绘制时检索数据加载的耗时问题；同时，为应对不同数量级的任意范围或比例尺的地图软件交互操作（漫游或缩放等）的不同情况，必须采用实时绘制的方法，而受数据源分布情况和数据量影响，常规的实时绘制方法存在一些图像失真、渐变层次不明显以及第 期指挥控制与仿真 地图操作时热图跟随性差等缺陷。由此，本文提出一种改进的热力图实时生成策略，对大批量船舶历史航迹进行可视化过程优化，使热力图生成效率、成图效果和地图软件交互体验得到提升。基于像素聚类的热力图生成流程通常，基于像素的热力图绘制会采用格网聚类的思想对数据进行简化。绘制热力图的格网聚类方法是以像素点区域为栅格单元，将落入画布中同一像素栅格内的所有原始点对象定义为一个像素点对象。输入点对象的分布很难达到绝对均匀，通常是按照一定的地域聚合分布，以像素为单元进行格网聚类处理，并以聚类形成的像素点对象为输入，进行灰度值的叠加计算。在不同量级的数据上，既能够使整体计算量有效减少，又可以使原始数据的精度得到较大限度地保留。采用格网聚类思想的像素热力图生成流程如图 所示。图 基于像素聚类的热力图生成流程 ）请求数据：船舶航迹数据采用 作为数据库进行高效存取。通过服务化的形式，提供 查询接口以供客户端请求满足条件的目标历史航迹点集合。）地理映射：地理映射是根据当前地图软件画布所在的地理位置，将船舶航迹数据集的点根据地理坐标一一映射到屏幕画布中，形成地理到屏幕画布的坐标映射函数（，），满足如下映射条件：（）（）（）（）（）其中，、为航迹点映射到屏幕画布中的坐标；、为当前画布的宽度和高度，通常是当前屏幕分辨率的宽、高；、为航迹点在地理坐标系下的经、纬度坐标；、分别为当前画布区域在地理坐标系的最大经度、最小经度、最大纬度和最小纬度值；、为画布左上角在屏幕坐标系下的屏幕坐标，在通常情况下，画布左上角坐标为屏幕坐标系原点（，），屏幕坐标系规定沿屏幕向右为 轴正方向，沿屏幕向下为 轴正方向。）像素格网聚类：即记录落入每个像素栅格单元的原始数据量，航迹点集的热力图可以看成是对点迹密度的表达，因此，像素点对象对应密度特征的计算公式为 ，（，）（，），（，）（，）（）式中，是一个大小为 的容器，（）表示第 个像素点对象的特征值，在航迹热力图计算时，表示该像素点对应的原始点迹密度特征，即落入该像素单元的原始点数量。为所有的航迹点数，（，）为经过地理映射后的像素点对象（即栅格单元）的坐标，（，）表示第 个像素点对象坐标，为一个二进制变量，当映射点落入该像素点时值为，否则为。同时记录密度特征的最大值 和最小值。格网聚类同时可以将地理映射后不在当前画布范围的航迹剔除，进一步提高后续的绘制效率。）像素中心灰度值计算：这是对每个像素点对象中心点的灰度值计算，即影响因子计算，如式（）所示，可以表示像素点对周围像素的影响程度，值越大，影响力越大。（）（）（）式中，为像素对象中心点灰度值（影响力值），取值范围为 ，它也是一个大小为 的容器；、分别表示该像素点对应的密度特征值、密度特征最大值和最小值。）创建缓冲区：即生成灰度圆。通常以像素点为中心，输入指定渲染半径 ，根据该像素点的中心灰度值绘制一个透明度径向向外、线性衰减的圆。当然，缓冲区创建仅代表抽象意义，无须在实际的软件画布中将灰度圆绘制出来。）灰度叠加：实际实现时，是靠透明度 通道叠加达到目的。可以创建虚拟画布来绘制灰度圆，实 梁晶晶，等：一种船舶历史活动热力图实时生成策略第 卷现各灰度圆透明度值的叠加。）色彩映射：定义一个渐变色调色板，像素尺寸为；从 渐次填充“蓝绿红”，也可在三原色的间隔位置填充中间色，如青色、黄色等。适当调整各色在调色板中所占比例。将叠加得到的最终灰度值（）映射到调色板 的位置，即可将虚拟灰度图色彩化。同时将灰度值作为像素着色时的透明度通道，设置透明度阈值（阈值设为，高于阈值时均以阈值为透明度）。将色彩化的栅格图层结果生成到画布上，与地图底图叠加显示，即热力图绘制完成。热力图失真校正通过上述热力图实时生成方法，船舶历史航迹在经过地理映射和格网聚类后，通常会出现多个航迹点映射到同一像素点的情况。尽管这样可以减少绘制的计算量，提高热力图的生成效率，但在实际渲染过程中，特别是在地图软件小比例尺且原始航迹数据量较大或者数据量大且比较集中于某块区域时，聚类后不同像素点的数据密度特征值会有较大差距，导致生成的热力图与实际数据源分布不符，不能绘制出密度特征值较低的区域，即不能准确表达历史航迹点的区域分布特征，可视化效果不够理想。图像增强为了解决像素点间密度特征过于悬殊时，原来的线性像素中心灰度值计算方法得到的结果差异过大使低密度值的像素点无法显示出来的问题，本文采用基于反正切函数变换的对比度扩展方法来实现图像增强。如图 所示，根据我国东部和东南沿海 年某一周内部分民船的 历史航迹所绘制的热力图，上海附近海域航迹点密度相对其他区域高很多，因此，附近其他区域的船舶活动很难在热力图中有所表现（为方便对热图颜色作区分，本文成图时均隐去了地图底图）。图 图像增强前效果图 分析图 可知，密度分布过于集中在低值区，同时高值过高，因此，需要在图像像素中心灰度值较低区域进行拉伸，在图像像素中心灰度值较高区域进行压缩。根据图像像元亮度变换原理，反正切图像如图 所示，因为它刚好满足低值拉伸、高值压缩的需求，且具有最值，所以，选择反正切变换函数来计算灰度中心值。结合像素点密度特征值分布情况，计算灰度中心值如下：（）（）其中，表示该像素点对象对应的密度特征值，取值范围为，）。通过反正切变换实现的图像增强效果如图 所示，可以观察到低密度特征的像素点也可以绘制出来，能够更好地反映当时该类船舶的活动情况。图 反正切函数图像 图 图像增强后效果图 像素补点尽管上述优化处理能够避免像素密度特征值悬殊较大时导致的不准确绘制情况，但当数据量大且过于集中在某块区域，即高密度特征的像素点对象较多且集中时，仍然容易使热力图出现一些红色过于集中、缺少层次感的热图区域，整体效果过热而缺少渐变色调的过渡，效果不理想，如图）所示。因此，本文提出像素补点方法，来优化数据集中的像素区域显示效果。具体方法如下：第 期指挥控制与仿真 ）创建像素密度特征容器副本：通常的热力图生成流程里，软件画布所有像素点对象对应密度特征用容器（大小为 ，下文称其为原始密度特征容器）记录，此时，我们再创建一个同样大小的容器副本，记为。）创建方向数组：用于搜索像素点的上下左右像素位置，获取原始密度特征。方向数组定义如式（）：，（）用当前像素位置叠加、的方向数组值，其中，索引 的值分别对应当前像素位置的右、左、下、上方向的邻居像素点。）遍历原始像素密度特征容器：对于整块画布，遍历画布的每一个像素（即原始密度特征容器），如果遇到像素点的原始密度特征值为，同时其上下左右的邻居像素点至少有 个特征值不为 的邻居个数小于，同时邻居最小非零特性值大于，则以 作为该点的特征值副本参数，存入容器副本中。）按照上述图像增强原理，计算像素中心灰度，后续步骤如前。图）即为同一组数据在相同比例尺下先进行像素补点然后成图的效果。总体上，不影响对原始数据特征的表达，但层次渐变效果更明显。图 补点绘制效果对比 改进的绘制策略由于船舶历史活动热力图常常用来展现较长时间和较大范围区域的船舶活动情况，因此，需要加载的数据量达几十万或者上百万条。不仅仅是绘制，符合条件的航迹查询和解析也需要一定的时间，这就需要以更高的数据下载、绘制效率和更人性化的设计来使用户有更好的体验，避免长时间加载或绘制所造成的等待，同时避免地图软件热图跟随度差和卡顿。动态加载与绘制策略为避免获取大批量航迹生成热力图时，后台航迹查询服务负载过大、加载时间长或绘制等待时间久等问题，本文提出基于分批循环加载航迹和边加载边绘制的动态加载与绘制策略。分批循环加载航迹：客户端基于（）的 模 块（、以 及）根据用户检索条件向后台请求航迹数据。因为 是异步请求数据，所以，它请求数据时不会造成地图软件操作界面卡顿。但是，过多的点迹信息请求一定会造成后台查询服务负载过大，并且需要一定时间的等待。因此，进行分批循环加载。具体实现方式如下：客户端首先请求满足条件的点迹总量，在客户端设置每次加载点迹上限，默认 万点，即每次最多请求 万点，数据返回客户端并解析完成后继续请求，直到所有满足条件的点迹数据全部加载到客户端并解析完成为止。循环加载要设置标志位，方便用户随时停止加载，跳出循环。边加载边绘制：为避免请求历史航迹时等待时间长，每加载并解析完成一批点迹数据集，就进行绘制，然后逐批数据累加。边加载边绘制可以有效避免长时间无反馈，让用户体会到热力图正在生成，使大批量航迹热力图绘制变成一个动态过程。多线程成图和定时器刷新策略本文基于 的 进行客户端的热图绘制。因为要进行大量航迹点的地理映射、像素聚类、像素补点和中心灰度值计算等耗时工作，所以，使用 直接绘制大量像素点的效率不如直接绘制 图片更高。同时，我们在查看热力图时免不了对地图进行缩放和漫游等操作，这些操作都会导致热图计算和重绘。因此，本文提出多线程的绘制策略来进一步提高热力图绘制效率，避免频繁重绘引起的主界面卡顿。子线程基于 创建，其绘制具体实现过程如下：）设置绘制触发条件，包括地图操作、定时刷新、画布调整等。）设置主线程绘制阈值，本文定位阈值为 万原始点，即 万点以下的热图绘制在主线程进行，超过阈值且满足重绘条件时，即创建并启动子线程。）在主线程创建热图图片指针变量和定时器。热图图片指针变量在主线程使用 方法绘制，热图图片初始尺寸和当前软件画布相同，并在交互操作的刷新绘制时不断计算或调整图片位置和大小；定时器用来定时获取子线程生成的图片，并在子线程生成完成时重新以画布尺寸和位置来更新主线程的图片指 梁晶晶，等：一种船舶历史活动热力图实时生成策略第 卷针变量。）建立子线程绘制完成信号槽的连接，更新主线程中子线程图片生成标志位。）主线程 直接在软件画布图层上绘制）的图片，并不断计算或调整图片位置和大小。）停止显示热力图时，销毁子线程，释放内存，并清空图片指针数据。试验分析 改进的热力图生成流程在基于像素聚类的热力图绘制流程中，加入热图校正过程和改进的热图绘制策略，完成一次绘制的完整流程如图 所示。图 改进的绘制策略流程图 改进策略的试验结果虽然无论多少量级的原始航迹数据，经过像素格网聚类后的像素总点数都是 个，但是遍历所有原始点进行地理映射以及遍历所有像素点进行补点优化并计算中心灰度值等，都会降低生成热图的效率。根据操作经验，此时若进行地图操作，很容易卡顿。因此，大批量绘制时采用多线程成图策略，主线程不再参与耗时计算，只执行图片绘制，避免了卡顿。定时器保证了图片重绘未完成时，主线程根据地图操作将上一次图片进行调整显示，避免了热图跟随度差的体验。下面分别选取 年底南海附近民船历史航迹 万点和 万点来绘制热力图，加载数据并进行传统和改进方法绘制的平均总耗时情况如表 所示，试验绘制次数均为 次。由表 可知，改进的绘制策略在数据加载、计算与绘制的总耗时相对要少很多，数据在刚开始加载时即第 期指挥控制与仿真 开始绘制，使交互体验更好。改进策略生成的热力图效果如图 和图 所示。表 加载历史航迹并生成热力图的平均总耗时对比表 原始航迹点数量 个试验次数次传统绘制改进绘制 开始绘制绘制完成 图 万航迹点热力图 图 万航迹点热力图 结束语热力图能够很好地反映船舶历史活动热点区域，是研究船舶活动规律的重要可视化方法之一。本文根据格网聚类思想，总结了传统的基于像素聚类的热力图绘制流程，结合非线性变换图像增强原理和补点优化思路进行了热力图失真校正，并优化交互体验，提出了一种改进的船舶历史活动热力图实时生成策略。试验证明，在生成大批量船舶历史航迹的热力图时，该策略能够更高效地生成热图，并且成图效果和交互体验更好。参考文献：金梁 基于 数据的船舶行为可视分析研究 武汉：武汉理工大学，：，杨微，刘纪平，王勇 基于 的地理对象空间分布热度计算方法 测绘通报，（）：，（）：，孔立斌 基于热力图与加权特征的车辆目标检测算法的研究 广州：广东工业大学，：，赵婷，华一新，李响，等 一种基于 的地理标签数据可视化表达的研究 测绘工程，（）：，（）：常春慧 基于百度热力图的城市洪灾应急物资需求估算与调度 武汉：武汉理工大学，：，张俊 涛，王 蜜 蜂，李 晓 明，等 基 于 的 专题地图研究 测绘与空间地理信息，（）：，（）：，丁文浩，刘心怡，阳小牙，等 基于 的安徽省小麦赤霉病监测预警系统的构建 洛阳理工学院学报（自然科学版），（）：，（），（）：梁晶晶，等：一种船舶历史活动热力图实时生成策略第 卷 ，（）：聂俊岚，辛姝悦，张继凯，等 一种改进的地理交通信息热图可视化方法 四川大学学报（工程科学版），（）：，（），（）：杨振凯，李响，杨飞 一种面向百万级数据的热力图生成算法 测绘科学，（）：，（）：秦昆 空间分析理论与方法 版 武汉：武汉大学出版社，：，张昊，张健钦，郭小刚，等 轨迹大数据云存储与热力图生成方法 测绘通报，（）：，（）：郑海鹰，李爱光，郭黎 地理空间图形学原理与方法 北京：测绘出版社，：，：，（责任编辑：张培培）