15(薛美根)上海大数据信息挖掘应用34.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021/2/8,#,大数据环境下上海创新交通综合管理的实践与探索,执笔：薛美根 副院长,演讲：陈必壮 副所长,上海市城乡建设和交通发展研究院,xuemeigen2013,一、背景,二、数据挖掘技术,三、大数据应用,四、展望,提纲,1,背景,一、开展交通信息数据挖掘的必要性,（,一,）,交通信息化迅速发展为信息数据挖掘奠定基础,（,二,）,交通信息化数据挖掘是交通调查技术的发展趋势,（,三,）,对获得全面、真实的交通数据至关重要,（,四,）,对传统人工调查的辅助、补充和校核,二、现状数据基础,车牌识别系统数据,用地,数据,手机信令,数据,运营车辆,GPS,数据,信息平台统计,数据,交通一卡通,数据,三、数据挖掘成果在本次交通大调查的应用,信息数据挖掘调查共有,6,个分项，是其他综合交通调查的弥补、辅助校核。,交通信息数据挖掘,交通基础数据调查,车辆使用情况调查,系统运行特征调查,人员出行情况调查,1.,城市用地,2.,调查期实有人口,3.,小客车实有量,1.,出租汽车出行特征,2.,货运车辆出行特征,3.,进出市境车辆出行特征,1.,区域间人员出行,2.,外来人员住宿特征,1.,道路断面流量及车速,2.,轨道客流进出站及换乘特征,3.,公共交通方式间客流换乘特征,4.,潮汐交通特征,2,信息数据挖掘关键技术,一、基于遥感技术的交通相关用地数据挖掘技术,解译获得全市,23,万,个分析单元用地信息，是城市用地调查的主要方法。,数据来源：,城市信息中心,数据时间：,2008,年、,2013,年,高分辨率航空遥感用地（解译）,房屋建筑（统计）,数据来源：,房屋土地资源信息中心、测绘建筑,数据时间：,2013,年,获取最新上海市市域红外航空遥感影像、遥感影像定位匹配,以住建部,城市用地分类与规划建设用地标准（,GB50137-2011,）,为指导，对上海市全陆域进行用地分类遥感解译、同步进行外业采样核对,在,ArcGIS,环境下实施土地利用航空遥感解译制图，并以区县为单位，计算每个区县内所有图斑的面积，按土地利用类型进行面积汇总、特征分析。,通过解译，将全市,28,类,用地细分到,23,万个单位，同时结合房地管理中心房屋建筑信息库、测院数据进行建筑量的校核，得到全市细分为,13,类,的建筑量，是分析人口岗位布局、交通与用地发展的重要基础数据。,二、基于手机信令的人员出行特征挖掘技术,原始数据主要字段列表,字段,含义,MSID,唯一用户标识,TIMESTAMP,时间戳,LAC,位置区编号,CELL,小区编号,EVENTID,事件类型（位置更新、小区切换、收发短信等）,移动基站分布,日均,1800,万,移动通信用户的,信令数据，辅助校核人口分布、出行分布等人工调查。,数据来源：,由市交通信息中心协调获取,2013,年,-2014,年移动手机信令数据,基站分布：,全市约,6,万,个基站，中心城平均半径约,130,米，郊区平均半径约,360,米,采样原理：,短信、通话、,LAC,区切换或每隔,1-2,小时定时与基站通讯的信令数据,基于移动通信用户,电子脚印,的手机信令数据分析技术,1,、地下轨道车站客流换乘特征分析技术,利用地下轨道线路与移动通信,LAC,区、地下轨道车站与基站的唯一对应关系进行路径识别,将手机检测与申通统计乘距相比对，地下轨道车站比例超过,90%,的轨道线路看，如,2,、,7,、,10,、,13,号线，两个渠道数据,的绝对差小于,5%,2,、校核线手机客流穿越特征分析技术,将移动通信网络的出行轨迹映射至道路网络，并在校核线周边设置,100-500,米的缓冲区过滤信号漂移产生的影响,对穿越校核线地下轨道断面的样本客流进行扩样，并与申通统计断面客流进行比对，两个渠道数据的绝对差平均为,7%,。,3,、手机用户昼夜分布分析技术,跟踪一段时期手机数据，按出现天数比例判定分析对象，并按累计停留时间最长为原则判断用户的夜间、白天固定地分布,夜间分布与“六普”数据比对，行政区人口比例的绝对差均在,2%,以内。,三、基于牌照识别的车辆出行特征挖掘技术,市境道口,快速路车牌断面,数据来源：,市交通信息中心协调获取市交警,2013,年,-2014,年车牌识别数据,数据内容车辆号牌、号牌颜色、途径时间、途径车速、车辆属地及设备断面编号等,市境道口车牌识别车流量与高速收费流量对比，高速道口的平均捕捉精度约,93%,；,快速路车牌识别车流量与高架线圈相比，车牌设备的平均捕捉率为,96%,。,42,个市境道口、,343,个中心城快速路断面和,14,个越江桥隧车牌识别数据，辅助校核小客车实有量、车辆出行分布等人工调查。,（,1,）基于,停留时长,分析的长期在上海使用的外地牌照小客车规模推算,技术,一年内累计在上海停留超过,180,天,单次来沪平均停留时间超过,5,天,市境道口车牌识别,外牌车辆累计在沪天数,(,除当日往返,),交强险,停车调查,车牌识别,年检站,居民家访调查,车牌识别数据挖掘结果与推荐值绝对误差为,5%,（,2,）基于,行驶路径,整理的车辆出行特征分析技术,1,、筛选问题车牌,车牌,至少有一位被错误识别的概率,为,6%-12%,2,、误识别车牌的较正,按断面相近，路径可循，采集时间差合理为原则进行车牌数据校正,3,、出行链整理,与线圈数据，收费数据相比对，整理路径信息,入境车辆基于地带的目的地分布,中心城快速路不同号牌车辆行驶特征,市境道口车牌识别车流量与高速收费流量对比，高速道口的平均捕捉精度约,93%,；,以郊区为目的的入境车辆数量，收费数据和车牌数据推算结果的绝对差为,5%,快速路车牌识别车流量与高架线圈相比，车牌识别的平均捕捉率为96%,四、基于,GPS,的车辆出行特征数据挖掘技术,出租车轨迹图,货车轨迹图,2.9,万,辆出租车，,1,万,辆货车,GPS,信息，是调查中心城地面道路车速的主要途径，是辅助校核出租车、货运车辆出行特征的主要手段。,基于,轨迹信息,的车辆出行特征分析技术,1,、基于出租车,GPS,信息的路段行程车速分析技术,数据预处理（检验排除数据飘逸、传输延迟等）,地图匹配（,50,*,50,米网格）,基于最短距离的出行路径推算,路段行程车速计算（出租车重车）,2,、基于,GPS,信息的车辆出行,OD,分析技术,出租车出行,OD,（利用空、重车状态切换信息）,集装箱卡车出行,OD,（结合用地、车速、停留时间）,五、基于交通信息平台的道路交通信息挖掘技术,高架快速路线圈,（,分,3,种,车型车流量、车速等,）,地面,SCATS,线圈,（,机动车流量、饱和度等,）,高速公路收费站,OD,（,分,11,种,车型机动车流量,）,478,个快速路线圈、,3043,个地面,SCATS,线圈和,104,个高速公路收费站数据，数据甄别、清洗后形成不同空间、时间的统计指标，与人工调查相结合，获得道路交通运行状况。,数据来源：,市交通信息中心,时间颗粒度：,5,分钟,六、基于一卡通的交通特征数据挖掘技术,日均刷卡约,400,万,张，超过,1000,万,次的交通一卡通数据，辅助校核公共交通客流出行特征,。,交通卡原始刷卡记录字段列表,交通信息平台统计指标列表,基于,刷卡时间间隔,的公交客流换乘特征分析技术,换乘时耗分布,轨道车站公交接驳比例交通卡挖掘结果与推算值绝对误差为,4%,轨道换乘公交,轨道换乘出租,公交换乘轨道,公交换乘公交,3,大数据在上海城市综合交通管理中的应用,以遥感用地数据挖掘为主，辅以建造量信息统计，获得现状上海用地开发类型、分布及用地强度等指标，并反映历史演变趋势。,1,、城市用地基本情况,2008-2013,新增建设用地,2008,年底建设用地,全市,2013,年建设用地,2918,平方公里，,较,08,年,增加,220km,2,，增幅为,8%,居住用地占,36.2%,，,工业及物流用地占,30%,，,公共与商业用地占,10.0%,建设用地中,：,全市,建筑量,11.6,亿平方米，较,08,年新增,3.4,亿平方米。住宅,建筑量占新增建筑量的,43%,，,近八成,增加,在中心区,外。,商业行政商务办公,建筑占新增建筑量的,16%,，,近七,成增加在中心城。,2013,全市居住建筑,密度,2013,年全市非居建筑密度,2,、城市人口分布,充分利用,手机,信令数据，,是校核调查期实有人口分布的重要依据。,地带,夜间手机人口数（万人）,夜间手机人口比例,中心区浦西,134.2,11.4%,中心区浦东,27.4,2.3%,中心区小计,161.6,13.7%,外围区浦西,2790,23.7%,外围区浦东,120.0,10.2%,外围区小计,399.0,33.9%,中心城合计,560.6,47.7%,近郊区,267.2,22.7%,远郊区,348.6,29.6%,合计,1176.4,100.0%,2014,年,夜间手机人口地带分布比例,3,、人员出行特征,手机,数据挖掘,成果是校核职住分布的重要依据。另外，综合手机信令、出租车,GPS,、中心城快速路线圈、轨道闸机数据反映潮汐交通特征。,陆家嘴区域人流来向分布,人民广场区域人流来向分布,中心城浦西：,41%,中心城浦东：,50%,郊区：,9%,中心城浦西：,77%,中心城浦东：,14%,郊区：,9%,职住等刚性出行需求的平均出行距离约为 公里，,90%,的出行在 公里以内。,早高峰轨道交通（流量）,进：出,2,：,1,早高峰道路交通（车速）,进：出,0.6,：,1,早高峰进出内环手机用户数,进：出,1.5,：,1,内环线的潮汐交通现象最为明显,，内环线、中环线、外环线早高峰以入城客流为主,中心城周边与远郊连接区域出城方向客流略高,苏州河潮汐交通明显，以北向南客流为主,黄浦江潮汐交通不明显，浦东至浦西客流略高,。,4,、小客车实有规模,大类,小类,统计量（辆）,道口系统采集的长期在沪的外牌小型车,1、仅在郊区出行（未在中心城出行）,11万,2、在中心城快速路出行,95万,交强险,3、未在道口和中心城快速路出行的车辆,6万,总计,112万,小客车（,88%）,98万,根据收费流量数据，小型车中小客车与小货车的比值为,88%:12%,经本次调查检验，基于车牌识别数据挖掘是今后调查小客车实有规模的主要手段。经,综合推算,，,2014,年,长期在沪使用的外牌小客车规模约为,98,万辆。,5,、道路交通车流特征,充分挖掘线圈、车牌识别、出租车,GPS,和高速公路收费数据反映道路交通车流特征，是调查道路交通运行状况的主要手段，与人工调查相互补充。,外牌车辆,沪牌车辆,早高峰高架道路运行车速,内环线：,23%30,%,全天,午间平峰,中环线：,29%40,%,南北高架：,22%31,%,延安高架：,17%23逸仙高架：,24%32,%,沪闵高架：,23%32,%,中心城快速路（不含外环线）工作日外牌车辆比例全天占,25%,，午间平峰占,32%,高峰,进一步向午后和早晨延长,地面道路区域工作日拥堵频率,地面,干道工作日,平均车速,空间分布,分区域地面干道高峰运行状况保持稳定，但,放射性干道服务水平,有所,下降,，与,2013,年,同比,下降,6%-16%,。,地面道路拥堵区域数增加明显,。,按照信息中心在中心城区划分,68,个区域，有,15,个区域,全年超过,100,个工作日拥堵,。,2014,年,9,月工作日均高速公路驶出量约为,90,万车次，与,2011,年相比，年均增长,10,万车次。,新城范围内，工作日松江新城和青浦新城高速公路出入口车流增长最为明显，在,25%-30%,左右。,工作日高速入口流量增长比例,（,2014/2011,年）,工作日高速公路流量分布图,6,、公共交通客流特征,基于,轨道闸机数据，并运用轨道交通模型平台进行分析，反映轨道交通的客流分布及运行状况。利用手机信令挖掘反映轨道系统内部客流的换乘特征。充分挖掘交通一卡通数据，反映公共交通方式间的换乘特征，是校核轨道交通接驳方式结构，地面公交内部换乘率的重要手段。,全市轨道交通工作日均客运量为,856,万,乘次。,中心城轨道交通上客量增幅达,107%,。,全网客流分布,全网客流拥挤分布,分区域轨道进站量,轨道站点换乘客流达到,330,万,，世纪大道和人民广场日换乘客流达到,35,万。,早高峰人民广场站分向客流比例,早高峰徐家汇站分向客流比例,7,、市境道口车流特征,利用车牌识别数据可以挖据进入上海市境车流的牌照及出行基本特征。,2014,年,9,月道口日均进出车流总量为,45,万,车次,/,日，其中高速公路承担,59%,。,常规工作日沪牌占,38%,，江苏牌照占,34%,，浙江牌照占,13%,。蓝牌,与,黄牌车,比例为,73%,：,27%,。,工作日入境外牌车辆，,50%,为当日往返,。,入境车辆到达郊区和进入中心城的比例约为,7,：,3,。,入境车辆基于地带的目的地分布,入境车辆在沪时长分布,3,展望,在延续以往调查方法的基础上，积极拓展信息数据采集渠道，进一步推进了信息化调查方法的应用。,（,1,）,引入手机,3G,数据，完善移动通信数据关于人员出行特征挖掘的应用,（,2,）利用地面卡口车牌识别数据，充分挖掘车辆出行特征,（,3,）充分地面公交,GPS,与交通卡刷卡关联数据，反映公交客流上下客特征,谢 谢！,演讲完毕，谢谢观看！,