北部湾海洋牧场地理时空数据网格化智慧服务平台的构建.pdf

年月南宁师范大学学报(自然科学版)J u n 第 卷 第期J o u r n a l o fN a n n i n gN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)V o l N o D O I:/j c n k i i s s n 文章编号:()北部湾海洋牧场地理时空数据网格化智慧服务平台的构建许贵林,严小敏,黄文龙,邬满,邱衡通(北部湾环境演变与资源利用教育部重点实验室(南宁师范大学),广西 南宁 ;广西科学院 数字孪生新技术研究院,广西 南宁 )摘要:随着海洋现场观测电子技术和卫星通信系统的不断发展,海洋牧场环境监测技术的自动化与信息传输能力逐步提升,对庞大的海洋多源异构时空数据的高效存储、智能融合与可视化管理是保障海洋历史信息可查、信息报告全面及时、灾情预警应急准确的先决条件.该研究集成北斗网格码和大数据存储分析技术,设计开发一个集海洋生态数据在线采集分析、海洋灾害监测预警、海产品全域溯源线上交易等功能于一体的北部湾海洋牧场地理时空数据网格化智慧服务平台,实现了平台应用示范区的精细化管理与快速立体监测预警,同时通过开源互联网服务平台来保障信息的传播与共享,提升北部湾海洋牧场多源异构数据信息的管理水平与信息服务能力.关键词:大数据;海洋牧场;信息服务平台;数据融合与可视化中图分类号:P ;T P 文献标志码:A引 言近年来,中国近海渔业资源严重衰退,海洋牧场作为修护海洋渔业资源与水域生态系统的重要手段,在统筹海洋渔业战略空间和实现可持续发展中发挥重要作用.与日本和挪威等海洋渔业发达国家相比,中国海洋牧场建设起步较晚,始于 世纪 年代末,历经 余年的发展,现处于建设加速期阶段.首批 个国家级海洋牧场示范区于 年获批建设,计划到 年建设国家级海洋牧场示范区 个.但建设海洋牧场也面临一些新问题:近年来,山东烟台牟平海洋牧场海域季节性低氧现象频发,造成大量海洋生物的死亡;年夏季,辽宁遭遇历史罕见的持续性高温,养殖海参大规模死亡,这给养殖户造成了严重损失.越来越多的现象表明,局部海洋生态环境异常是导致海洋生物大规模死亡的重要原因,因此,通过实时感知海洋环境信息,并结合高效的信息传输与处理手段,建立灾害应对和预警预报机制显得尤为重要.这可以降低海洋牧场建设的系统性风险.针对传统海洋牧场养殖存在立体化监测不够全面、自动化水平不足等问题,山东省于 年开始组建“海洋牧场观测网”,实现了海洋牧场多水质参数、水下高清摄像、海水剖面流速流向等重要生态要素的海底有缆实时在线监测.贾文娟等探讨了既满足海洋牧场海量现场观测数据的长距离传输需求,又具备造价低、功耗小、稳定性强等性能的海洋环境数据采集设备.海洋牧场数据不断丰富,涉及海洋生物、生态、经济、物理等诸多方面,不同类型数据的采集处理与存储格式也会有所不同,这将严重妨碍海洋数据之间的融合与共享.而海洋大数据在一套网格内统一存储、检索与管理,是高效处理海洋多源异构数据的有效途径.北部湾位于中国大陆海岸带西南端、南海西北部,毗邻东盟和粤港澳大湾区,也是西部陆海新通道平陆运河入海地,战略地位十分突出.然而,北部湾海域自然灾害凸显,热带气旋活动与藻华频收稿日期:基金项目:国家重点研发计划“海洋农业与淡水渔业科技创新”重点专项(Y F D );广西科技基地和人才专项(桂科A D );国家自然科学基金区域创新发展联合基金重点项目(U A )第一作者:许贵林(),男,博士,教授,主要从事国土空间信息化建设工作(q q c o m)通信作者:邱衡通(),男,博士,助理研究员,主要从事海洋牧场数据感知与分析研究(q i u h e n g t o n gn n n u e d u c n)南宁师范大学学报(自然科学版)第 卷发,给海洋生物带来了不容小觑的损害,而且广西贝类支柱产业的钦州大蚝春季死亡灾害的发生与环境盐度长期过高有关.因此,亟需打造融合监测、预警、溯源、防灾、生态休闲和线上交易的全产业链智慧海洋牧场服务平台,为北部湾海洋牧场生态环境监测和海洋渔业发展提供技术支撑.平台系统设计与开发随着海洋环境感知和信息传输技术水平的提升,海洋时空数据资源得到了极大丰富,这对海洋数据组织管理方法提出了更高的要求,基于网格模型的时空数据组织方法为海量、多源异构和动态的海洋大规模时空数据的高效管理提供了途径 .而根据北斗网格位置码(G B/T ),万世万物的区域时间和位置均可在国家地球剖分型域时空框架下赋值、定义,建立融合时空数据的北斗网格码索引将大幅提高海洋空间信息的查询、组织与管理效率.平台系统设计技术原理本服务平台的技术原理主要包括通讯机制设计、时空大数据预处理和服务平台开发部分,保障海洋牧场示范区数据的采集、传输、融合、衔接与展示.服务平台不但要求实现海洋地理时空网格化数据的自动采集、远程传输、处理入库,满足应用示范的要求,而且在此基础上还需要实现远程修改遥测站运行的参数和通讯参数.通讯机制总体设计为:()建立了以控制中心为核心的一体化信息系统;()提供了各分中心自动控制本辖区海上海下采集的操作平台,通过通信监控前置机,自动采集所有遥测站的数据并按照设定的工作方式发送到中心;()可以对所有运行遥测站进行运行参数设置,控制采集站的运行;()通过移动技术信道(G)远程自动同时提取所有遥测站的历史固态数据.基于移动 G技术的远程数据采集技术,实现对远程海洋生态传感器实施实时监控与数据采集.时空大数据的管理过程具备一系列的标准约束,以现有大数据行业标准为基础,经过一系列对比与分析,筛选出适合海洋牧场大数据处理的行业标准,并通过参考现行国际通用标准编制海洋牧场数据处理新标准,以补充完善海洋大数据管理标准体系.依照标准,结构化数据(关系数据库)存入H b a s e数据库,半结构化数据(J S ON日志)和二进制数据(视频、音频)等存入HD F S文件.平台数据主要包含类:()即测数据与存储,包括北斗时空网格化数据,海洋(水上/水下)高精度导航定位数据,布设示范区域海洋大地测量基准(信标)与应答感知设备数据,海上/海下位置服务原型系统数据,数字海洋综合业务系统运行数据等;()历史调查数据,包括“专项”中国近海海洋综合调查与评价资料,其中包含近岸海域、海岸带、海岛、沿海地区社会经济等基础调查数据信息.对数据跨越数据库、格式、应用等多层次差异的融合管理,将提高数据信息的整合与管理水平.服务平台的开发数据库、视频、音频和 日志等海洋 多源异构 数 据 经 数 据 清 洗、转 换、质 检 等 步 骤 按 照HD F S、H c a t a l o g、H b a s e、R e d i s等目标存储库进行分类写入储存,以w e b或日志模块进行数据抽取与展示.运用E T L工具 进行数据的清洗与整合,使离散、凌乱的数据得以有序入库.基于海洋数据信息来源广泛、形式复杂多样等特点,本研究引入H a d o o p 框架 应用于海洋多源异构数据的存储、提取、整合与分析等方面.在该集群环境下,海洋环境感知系统与数据库通过J B o s s服务器并结合M a p R e d u c e 编程模型,将符合查询条件的数据映射给可视化展示平台.同时,平台采用J E E架构,基于r e s t a p i设计风格,持久层采用h i b e r n a t e、m y b a t i s等相关框架设计,主要使用J a v a编程语言和服务器端J a v a技术,通信数据包采用轻量级的J S ON格式,业务应用系统和数据集成平台均基于H a d o o p 及o r a c l e g(或以上)大型数据库上,平台至少集成H B a s e、H i v e、I m p a l a、S q o o p、P h o e n i x组件.基于H t m l 体系和开源E C h a r t s、w e b G L展现海洋大数据.北部湾海洋牧场地理时空数据网格化智慧服务平台的总体开发框架如图所示.第期许贵林,等:海洋多源异构数据的融合与可视化系统 北部湾海洋牧场地理时空数据网格化智慧服务平台为了提高信息服务质量,平台运用了W e bS e r v i c e客户端和服务器使异地用户自由HT T P通信;引入控制反转和依赖注入消除组件或者模块间的直接依赖,使得软件系统的开发更具扩展性;提升数据检索技术,保证检索性能和检索速度,从海量数据中提取信息依然流畅.平台功能与应用平台主页面本研究搭建的北部湾海洋牧场地理时空数据网格化智慧服务平台w e b主页面(图)以深蓝色色调为主,查询登录网站为:h t t p:/:/f r o n t/i n d e x,现已免费开放给科研工作者和养殖户,为北部湾海洋牧场提供海洋生态数据与灾害预警信息.北部湾海洋牧场地理时空数据网格化智慧服务平台w e b主页面 南宁师范大学学报(自然科学版)第 卷平台主要模块()海洋牧场高精度位置服务.依托海洋大地测量基准信标与应答感知设备,为水面船舶、观光垂钓平台、网箱、筏架、蚝排、水下鱼礁、AUV、R OV等海洋牧场生产设施设备提供高精度的位置信息服务.()邻近海域大地水准面模型分析.依托海洋大地测量基准信标与应答感知设备,通过解算,在平台上显示海洋牧场邻近海域网格化的大地水准面数值.()示范区水动力数值模型分析.显示水动力要素的网格化空间分布和时间变化,形象生动地表达计算结果,为研究近海区域波浪、潮流、泥沙运动规律提供科学决策依据.()海洋科学数据智能查询.通过北部湾经济区科学数据智能查询系统和北部湾经济区科学数据辅助分析决策系统,进行气候资源、地质信息、水文信息等数据的可视化、浏览、查看、统计展示.()浮标信息监测与分析.通过浮标采集风向、风速、表层流速、表层流向、平均波高、波数、气温等海洋物理监测数据以及水温、电导率、盐度、溶解氧、叶绿素浓度、p H等海洋理化监测数据,丰富海洋牧场环境信息要素.()北部湾海洋牧场雷达监控系统.通过雷达远距离探知北部湾海域民用船舶航行路线,对危害海洋牧场的偷窃作案船只或肇事船只进行追踪,保障安全生产.()精细化管理与快速监测预警.实现示范区内海洋产业的精细化管理,为水面船舶、观光垂钓平台、网箱、筏架、蚝排、水下鱼礁、AUV、R OV等海洋牧场生产设施设备提供高精度的位置信息服务和属性管理,实现管理者心中有数、智能决策.同时,实现动态监测预警,通过计划模块和监测模块提供的数据进行对比分析计算和评分,快速判断是否进行超标预警,并以不同的方式展示计划与监测的现状数据用于辅助决策.()大蚝交易系统与趋势分析.通过交易系统,统计查询存放、展示、销售的大蚝产品,记录存放的货物信息,由于需要充分利用存放空间,把不同农户的商品存放在同一区域,需要精确查找识别不同农户存放的货品.对所有电商的在库商品进行统计分析,对有保质期的商品进行有效期检查,如有发现即将到期的商品,系统将有提示,电商还可以查询到商品出货情况.讨 论北部湾海洋牧场地理时空数据网格化智慧服务平台在开发了示范区全域时空北斗网格码的网格化算法基础上融合了环境数据时空演变、北斗抗干扰多功能数据采集、海洋承灾体脆弱性调查与评价模型、陆海综合体核心数据库及入库标准、水动力数值模拟模型、海洋大地测量基准(信标)与应答感知设备等多项关键数据信息与软硬件内容,同时通过优化检索算法增加了网格数据索引效率,提升了对海洋牧场生态环境、生物资源、气象、水动力等多源异构数据的感知与管理水平,可为业内从业者提供借鉴.该平台示范区位于钦州茅尾海钦州大蚝主产区,平台由海洋生态环境监测、浮标信息监测与分析、北部湾海洋牧场雷达监控等多元系统组成,通过连入相应系统,可立体监测海洋牧场蚝排生产运营状况与潜在生态安全威胁.在当今科技高速发展的形势下,海洋数据感知与传输能力不断提升,海洋数据呈现爆炸式增长,但海洋数据来源众多、处理分析复杂,海洋牧场数据管理的信息化水平有待提升.基于海洋大数据强时空关联、高耦合等特点,引入基于北斗网格码的地理时空数据组织方法,为海洋大数据的高效管理提供助力,同时可为实现现代海洋牧场广域生态环境多维信息化监控、发展现代化海洋牧场甚至全域型海洋生态牧场奠定基础.随着我国海洋牧场战略空间不断扩大,在“生态、精准、智能、融合”的海洋牧场新阶段战略构想理念指导下,通过科学选址、资源修养护、安全保障等手段 构建现代海洋牧场多维动态立体监测体系,打造融合监测、预警、溯源、防灾、生态休闲和线上交易的全产业链现代化海洋牧场信息管理平台,从而达到“提品牌、增效益、止损失”目标,促进产业转型升级.第期许贵林,等:海洋多源异构数据的融合与可视化系统 结 论()构建了集海洋科学数据在线采集分析、海洋灾害监测预警、海产品全域溯源线上交易功能的智慧服务平台.实现对海洋牧场及其周边区域地理时空网格化数据转换、存储与展示,形成一套对应的生态、产业和生活复杂陆海监管信息采集与分析系统,对海洋牧场进行精细化管理以及监测预警.()服务平台引入了北斗网格码算法和北斗/G P S信号水下盲区的海洋牧场水下高精度位置服务,是该服务平台的重要特点.依托全球剖分网格,将传统的多边形空间求交检索算法转化为网格编码数值匹配检索算法,大幅降低空间检索的计算复杂度并提升了空间数据的检索效率.依托水下的海洋大地测量基准信标与应答感知设备,通过海上海下一体化高精度定位算法的解算,建立区域海洋大地测量基准与海上/海下综合位置服务系统,为区域内用户提供高精度的位置服务.()服务平台促进了产业融合.平台主要服务于钦州“龙门蚝湾”养殖产业示范区,产业融合上从海上渔业向多产业融合转变,覆盖广西钦州本地优势天然蚝苗的繁殖、大蚝养殖与交易,促进了产业增值和生态保护的结合.在传统海洋数据管理信息系统基础上,利用网络数据库、数据快速检索、数据网络分析、北斗网格码、可视化等技术手段与方法构建了北部湾海洋牧场地理时空数据网格化智慧服务平台(查询登录网站为h t t p:/:/f r o n t/i n d e x).该服务平台具有界面友好美观、分辨率高、检索速度快等特点,可为北部湾海洋牧场提供切实有效的信息服务与决策支持,促进北部湾海洋经济健康发展.结 语海洋牧场信息化建设依然面临诸多挑战,依托智能化的管理平台开展海洋牧场数字巡航,及时感知并应答养殖对象的环境、疾病等应激反应与死亡灾害,是提高养殖目标生物存活率的重要途径.加强研发海洋环境理化因子在线监测和养殖对象行为实时监控等多功能传感设备,同时提高海洋牧场数据的传输、存储、处理与分析能力,开发应答机制的关键控制点,以提升对海洋牧场的信息服务能力.参考文献:杨红生我国海洋牧场建设回顾与展望J水产学报,():阙华勇,陈勇,张秀梅,等现代海洋牧场建设的现状与发展对策J中国工程科学,():杨红生,章守宇,张秀梅,等中国现代化海洋牧场建设的战略思考J水产学报,():翟方国,顾艳镇,李培良,等山东省海洋牧场观测网的建设与发展J海洋科学,():贾文娟,张孝薇,闫晨阳,等海洋牧场生态环境在线监测物联网技术研究J海洋科学,():乔守文,边志刚,隋意,等 年间北部湾海域热带气旋的变化及特征分析J广西科学,():刘星毅实施海洋生态工程打造生态海湾J广西经济,:沈萍萍,齐雨藻,欧林坚中国沿海球形棕囊藻(P h a e o c y s t i s g l o b o s a)的分类、分布及其藻华J海洋科学,():李蔚,张立,彭金霞,等广西钦州大蚝春季死亡规律调查分析J水产养殖,:雷毅大规模时空数据组织的高效网格编码方法与应用研究D战略支援部队信息工程大学,陈俊宁,胡乃军,刘青海洋数据管理与可视化平台设计J中国科技信息,:史洪芳,王智玉,郑颖尔,等基于北斗网格码的空域资源精细化管理体系J民航学报,():S i n g hG,B a n s a lN,R a n iP gm o b i l en e t w o r kt e c h n o l o g y(L T E)JI n t e r n a t i o n a l J o u r n a lo fA d v a n c e dR e s e a r c hi nC o m p u t e rS c i e n c e,():K h e r d e k a rVA,M e t k e w a rPS At e c h n i c a l c o m p r e h e n s i v es u r v e yo fE T Lt o o l sJI n t e r n a t i o n a l J o u r n a lo fA p p l i e dE n g i n e e r i n gR e s e a r c h,():M e r c e e d iKJ,S a b r yNA Ac o m p r e h e n s i v e s u r v e y f o r h a d o o pd i s t r i b u t e d f i l e s y s t e mJ A s i a nJ o u r n a l o fR e s e a r c h i n 南宁师范大学学报(自然科学版)第 卷C o m p u t e rS c i e n c e,():D e a nJ,G h e m a w a t S M a p R e d u c e:s i m p l i f i e dd a t ap r o c e s s i n go n l a r g e c l u s t e r sJC o mm u n i c a t i o n s o f t h eA CM,():J o h n s o nRJ E Ed e v e l o p m e n t f r a m e w o r k sJC o m p u t e r,():B o u r h i sP,R e u t t e r JL,V r g o cDJ S ON:D a t am o d e l a n dq u e r y l a n g u a g e sJI n f o r m a t i o nS y s t e m s,:杨红生,霍达,许强现代海洋牧场建设之我见J海洋与湖沼,():杨红生,丁德文海洋牧场:历程,现状与展望J中国科学院院刊,():C o n s t r u c t i o no f t h eG e o g r a p h i cS p a t i o t e m p o r a lD a t aG r i dI n t e l l i g e n tS e r v i c eP l a t f o r mf o rM a r i n eR a n c h i nB e i b uG u l fXUG u i l i n,YANX i a o m i n,HUANG W e n l o n g,WU M a n,Q I U H e n g t o n g(N a n n i n gN o r m a lU n i v e r s i t y,K e yL a b o r a t o r yo fE n v i r o n m e n tC h a n g ea n dR e s o u r c e sU s e i nB e i b uG u l f,M i n i s t r yo fE d u c a t i o n,N a n n i n g ,C h i n a;D i g i t a lT w i nN e wT e c h n o l o g yR e s e a r c hI n s t i t u t e,G u a n g x iA c a d e m yo f S c i e n c e s,N a n n i n g ,C h i n a)A b s t r a c t:W i t ht h ec o n t i n u o u sd e v e l o p m e n to fm a r i n eo n s i t eo b s e r v a t i o ne l e c t r o n i ct e c h n o l o g ya n ds a t e l l i t ec o mm u n i c a t i o ns y s t e m,t h ea u t o m a t i o na n di n f o r m a t i o nt r a n s m i s s i o nc a p a c i t yo fm a r i n er a n c h i n ge n v i r o n m e n t a l m o n i t o r i n gt e c h n o l o g y h a v e b e e n g r a d u a l l yi m p r o v e d,a n dt h ee f f i c i e n ts t o r a g e,i n t e l l i g e n t i n t e g r a t i o na n dv i s u a lm a n a g e m e n to fh u g em a r i n em u l t i s o u r c eh e t e r o g e n e o u ss p a t i o t e m p o r a l d a t a s o u r c e s a r e t h ep r e r e q u i s i t e s f o r e n s u r i n g t h e a v a i l a b i l i t yo fm a r i n eh i s t o r i c a l i n f o r m a t i o n,c o m p r e h e n s i v ea n dt i m e l yi n f o r m a t i o nr e p o r t i n g,a n da c c u r a t ed i s a s t e re a r l yw a r n i n ga n de m e r g e n c yr e s p o n s e W ed e s i g n e da n dd e v e l o p e dag e o g r a p h i cs p a t i o t e m p o r a ld a t ag r i di n t e l l i g e n ts e r v i c ep l a t f o r mf o rB e i b uG u l fm a r i n er a n c hb yi n t e g r a t i n gB e i D o ug r i dc o d ea n db i gd a t a t e c h n o l o g y T h ep l a t f o r mi n t e g r a t e s t h e f u n c t i o n s o f o n l i n e c o l l e c t i o na n da n a l y s i s o fm a r i n e e c o l o g i c a l d a t a,m a r i n ed i s a s t e rm o n i t o r i n ga n de a r l yw a r n i n g,o n l i n et r a d i n go fm a r i n ep r o d u c t s,a n df i n a l l y r e a l i z e dt h er e f i n e dm a n a g e m e n t,r a p i dt h r e e d i m e n s i o n a lm o n i t o r i n ga n de a r l yw a r n i n go ft h e d e m o n s t r a t i o na r e a A tt h es a m e t i m e,t h eo p e ns o u r c e I n t e r n e t s e r v i c ep l a t f o r me n s u r e s t h ed i s s e m i n a t i o na n ds h a r i n go f i n f o r m a t i o n,a i m i n gt o i m p r o v e t h e i n f o r m a t i o ns e r v i c e c a p a c i t ya n dc o m p r e h e n s i v eb e n e f i t so fB e i b uG u l fm a r i n er a n c hK e yw o r d s:b i gd a t a;m a r i n er a n c h;i n f o r m a t i o ns e r v i c ep l a t f o r m;d a t a f u s i o na n dv i s u a l i z a t i o n 责任编辑:黄天放