模糊C均值聚类对潮位粗差值的智能检测.pdf

第 卷第 期 年 月水 道 港 口 .收稿日期:修回日期:基金项目:中央级公益性科研院所基本科研业务费项目()天津水运工程勘察设计院发展基金项目()作者简介:刘超()男山东潍坊人助理工程师主要从事海洋测绘研究:().模糊 均值聚类对潮位粗差值的智能检测刘 超(.交通运输部天津水运工程科学研究所天津.天津水运工程勘察设计院有限公司天津)摘 要:潮位数据对于海洋研究具有重要意义针对逐渐庞大的潮位数据量智能化潮位处理是当前研究的关键 因特殊情况产生的潮位误差需要人工逐个处理为提高处理潮位数据的高效性和自动化首先获取含有粗差的潮位数据集合利用随时间变换的潮位数据提取相邻潮差、角度、曲率等特征向量构建特征数据集 采用模糊 均值聚类()的方式对数据进行聚类处理设置聚类数目完成对于正常潮位和误差潮位的分类从而剔除潮位数据中的粗差值 为了检验 算法的有效性采用 聚类粗差剔除算法以及人工处理方法进行相关试验对比验证 算法的分类效果和适用性 对于剔除粗差的潮位数据采用三次样条插值方式结合缺失潮位所在时间邻域内的潮位数据构建样条函数完成插值处理以达到潮位处理的智能化关键词:潮位粗差特征向量 曲率三次样条插值中图分类号:文献标识码:文章编号:()海水受到月球和太阳引潮力的作用产生规律性的上升下降运动这种海面的升沉现象叫做海洋潮汐潮汐的变化呈现规律性通常存在半日潮、全日潮等 潮汐数据广泛应用于海洋观测、水文观测、水深测量等方面其对于海上运输、海上应急救援、海上基建、潮汐发电等都有着重要意义对于海域的探索验潮是必不可少的步骤电子潮位仪是当前验潮的主要手段 但由于潮位仪在记录数据的同时存在扰动等不可抗拒要素使得潮位数据存在缺失和粗差 鉴于潮位数据的重要性对于潮位的处理和研究愈加重要尤其是潮位的智能化处理 潮位的智能化处理主要包括检测潮位是否存在数据缺失或数据错误等情况 对错误潮位进行自动识别和筛选将剔除粗差后的潮位数据进行自动插值处理呈现完整准确的潮位 对于潮位数据记录中的缺失值一般采用逐个遍历的方式搜寻由于缺失潮位易于发现因此本文研究的重点为潮位数据的粗差剔除和修正对于潮位数据粗差点的剔除当前主流的检测方式仍是人工干预 人工干预需要了解当地潮汐变化规律同时依赖于内业人员的熟练程度 对于长期验潮数据的处理数以十万计的数据量对于内业人员是一个严峻的挑战因此智能化处理潮位数据十分必要 潮位变化呈现规律性变化规律对于粗差的探测需要与周期性变化规律结合 本文利用相邻潮位数据间的特征采用均值聚类的方式 完成潮位粗差的自动识别和剔除 并于其他聚类算法进行了精度分析验证算法的可行性对于剔除粗差的潮位数据进行内插修正 当前通用的参数法中余水位分析求解过程过于复杂需要计算调和参数通常用于预报潮位的获取而三次样条插值方式由于拟合曲线光滑在区域内可以获取良好的差值效果只需求解关键系数是本文宜采用的插值算法后续进行试验验证 年 月刘 超 模糊 均值聚类对潮位粗差值的智能检测 剔除粗差为实现智能化潮位数据处理引入模糊 均值聚类算法()算法首先要提取数据的特征向量.潮位数据的特征提取本文主要提取了相邻潮位的潮差、角度、曲率等关键参数 因潮汐变化存在涨潮、落潮、平潮、停潮四种情况潮差变化可以有效反映潮势 角度作为另一个关键参数而角度引入增强时间与潮差的对应关系 曲率为另一个关键特征因子曲率先将时间区域内的潮位数据利用最小二乘法则拟合为光滑二次曲线 ()式中:、分别为求解二次方程系数 为时间 为潮位值 角度求解为 ()式中:表示第 个角度、为相邻潮位值、为相邻时间 曲率求解为()/()图 潮位的特征.式中:、分别为 的一阶导数和二阶导数 为曲率如图 表示构建潮位数据的特征量、角度、高差、曲率分布在潮位变化中.潮位数据的粗差聚类构建 的特征数据集合利用粗差与正常潮位值之间的差异进行处理 采用距离作为相似性指标从而定义数据集中的 类且每个类的中心根据类中所有值的均值得到每个类用聚类中心来描述 对于给定的一组包含 个三维数据点的数据集 以及类别 选取欧式距离作为相似度指标聚类目标是使得各类的聚类平方和最小聚类中心为对应类别中各数据点的平均值同时为了使得算法收敛在迭代过程中应使最终的聚类中心尽可能不变图 粗差的主要类型.通常特征数据集随机初始化 簇类 确定需要人工干预 当前主要存在潮位粗差、高低差两种且高低潮差存在于涨潮、落潮、平潮中图 为潮中典型粗差 均值聚类算法给予每个样本的隶属度函数 通过计算隶属度大小将样本归类建立最小目标函数 ()式中:为聚类的簇、为类标号表示属于 类的隶属度 表示第 个样本 为具有三维特征的样本为 簇的中心也具有 维度可以是任意表示距离的度量模糊度 是一个不断迭代计算隶属度 和簇中心 的过程直到达到最优化 采用拉格朗日乘法将条件极值转化为无条件极值利用拉格朗日乘法将条件极值转化为无条件极值问题引入 个拉格朗日因子如下所示水 道 港 口第 卷第 期 ()()()然后得到对各个变量的极值点 对聚类质心 进行求导求解出最有优 ()()()()同理目标函数对隶属度函数 进行求导求解最优化隶属度函数 ()()隶属度求解是一个逐渐迭代的过程迭代的终止条件为()()()式中:为迭代步数 为误差阈值 继续迭代隶属度也不会发生较大变化即隶属度不变已达到最优状态该过程收敛于目标 的局部最小值或鞍点 均值聚类中的质心以隶属度为权重做一个加权平均逐步更新隶属度即如果 越靠近质心 则隶属度越高反之越低 对于关键阈值的确定方式阈值经过数理统计分析针对不同地区的区域潮位阈值的确定方式不同通常在进行阈值确定时都会对潮位样本进行先验 选取一个完整的正常潮位周期将同一周期内潮位数据进行隶属度的求解迭代至最优隶属度两次隶属度最大差值为正常潮位计算阈值 通常阈值的确定会存在一定程度的容许度容许度通常为周期潮位阈值计算值的 对于受轻微要素影响产生细微潮位变化与变化剧烈的粗差潮位相比判定为正常潮位 因此人为设定的阈值为正常潮位计算阈值的.倍.粗差剔除后的潮位数据内插常用的插值算法包括参数法、三次样条插值法等 由于三次样条法算法简单结合变化规律且在一定时间能较好反映潮位变化因此本文采用三次样条算法对于缺失值进行自动补充 三次样条插值采用将数据分为若干区间区间采用三次方程表述 ()图 插值效果展示.式中:、分别表示在 段的三次样条方程未知系数插值试验采取模拟方式对于某一时刻潮位真值进行剔除利用该时间前后时刻潮位点进行此时刻的三次样条插值处理以时间为轴自动搜寻缺失潮位时刻以及相邻时间区域内的时刻与潮位数据进行插值处理 图 为模拟潮位数据与插值数据对比显示插值精度与效率 在 时刻真实潮位数据为 插值潮位为.在 时刻真实潮位为 插值潮位为.通过对比更多数据集插值精度在 .精度满足要求 试验分析.统计分析试验采用温州洞头某一验潮站进行为期 的验潮 温州洞头区为正规半日潮型潮位数据采集为 年 月刘 超 模糊 均值聚类对潮位粗差值的智能检测 高差、角度、曲率特征数据呈现正负交替变换并且具有周期变化的特性 随机抽取 个潮位数据进行统计计算关键聚类参数和权值阈值参数选择如表 所示对数据集进行分类求解出聚类中心的索引和特征以及隶属于每一类的数量如表 所示图 为目标函数伴随迭代次数的变化曲线曲线呈现先陡变再逐渐平缓最终趋于稳定的走势 通过建立特征三维坐标系统计每一类的聚类中心与所属类别的数目与位置如图 所示图 目标函数变化示意图.表 关键阈值参数展示.聚类数目加权指数迭代阈值数据.特征矩阵表 聚类中心与聚类数目.聚类中心距离/角度曲率数量/个一类中心.二类中心.三类中心.四类中心.五类中心.六类中心.正常数据与误差潮位特征分布 正常数据与误差潮位统一分布图 误差潮位特征分布与潮位数据统一分布.结合图 和图 中信息进行联合分析本文采用 均值分类算法利用潮位中数据的特性进行了统计分析其中、类误差为上升过程中存在的粗差点因此高差、曲率角度都存在差异 类为凸粗差曲率正向增大角度增大 类为凹粗差曲率负向减小角度负向增大 同理、类误差存在类似分析 类误差为平差或者停潮时刻不同于其他四类误差误差具有明显的规律性与粗差点相邻正常潮位数据点呈现明显的对称状态 粗差前后相邻时刻点曲率、高差、角度近乎相反本规律特征是区分 类误差的关键表 三类粗差剔除模式精度对比.粗差剔除方式 类粗差 类粗差 类粗差 类粗差 类粗差 聚类人工处理.试验算法对比为了检验本文 的有效性和稳健性同时引入 聚类方法进行统计分析 为控制统一变量 与 算法采用相同的数据集合进行检校检查方式为人工随机抽样检验方法 同样以上述集合为例将数据集合进行人工检验对两种算法的精确度进行分析对比结果如表 所示水 道 港 口第 卷第 期对三类算法进行对比分析人工处理需要借助内业人员的丰富经验当前默认此种方式精度最高也是一直沿用至今的粗差剔除算法 人工处理算法的最大缺点是耗费时间和人力庞大的数据量也成为未来人工处理数据的挑战与 算法相比较 从统计粗差结果更接近于人工统计 虽然同属于非监督分类范畴却是软聚类的方式不同于 这种强硬聚类方式 方式利用聚类中心和欧几里德范数将点固定为某一类别 采用计算每一样本点的隶属度将隶属度与每一类进行对比选取最优的类别属性 相比而言 的适用性和灵活性更高 尤其对于数据呈现规律性变化的数据集合抗粗差能力更好 结束语潮位数据量日益庞大增大了人工粗差剔除的难度 本文以归一化时间变化为轴通过求解潮位数据间的曲率、潮差、角度等关键特征采用 算法完成各项粗差点的聚类针对不同类型粗差计算隶属度并完成分类 采用正常潮位隶属度最大差值在增加容许度进行阈值设定 通过与其他聚类算法以及人工处理对比 能取得较好的聚类结果 对于后续缺失潮位信息依据时间轴自动搜寻缺失点利用三次样条插值补充缺失潮位较好实现了潮位数据的自动化处理但是本文算法还存在部分缺陷 主要依赖潮汐数据的规律变化特性而对于区域内不规则全日潮型、半日潮型等而言因粗差与不规则正常潮位数据难以区分造成聚类效果不佳等情况这些问题会在后续工作中改进和完善参考文献:黄祖珂黄磊.潮汐原理与计算.青岛:中国海洋大学出版社.王如云童章龙陈耀登等.基于连续函数最小二乘法的潮汐迭代调和分析方法.中国水运:学术版():.():.刘田甲.潮汐数据插值方法研究.南京:南京师范大学.裴文斌牛桂芝董海军.余水位及潮汐差分方法.水道港口():.():.刘军.余水位的主要特性分析及其在海洋测绘中的应用.测绘通报():.():.熊伟范东华.黄骅港传统预报与实测潮位差异分析及潮位实时推算方法.水道港口():.():.范东华.大连太平湾海域潮位特征分析.水道港口():.():.赵建虎柯灏张红梅.长期验潮站潮位观测误差的综合探测及修复方法研究.武汉大学学报:信息科学版():.():.邢硕刘杰熊伟.河北黄骅港附近海域潮汐特性分析.水道港口():.():.年 月刘 超 模糊 均值聚类对潮位粗差值的智能检测熊伟刘杰邢硕.唐山丰南海域潮汐特征分析.水道港口():.():.李振云熊伟刘杰.漳州东山湾附近海域潮汐特性分析.水道港口():.():.耿宏王伟邢承滨.基于 模型的潮位拟合及内插研究.海洋测绘():.():.高朋.模糊 的鲁棒性和簇大小敏感性研究.厦门:集美大学.梁昱包江.潮位数据的数学模型探究及应用.工程技术研究():.董玉磊曲萌.压力式验潮仪数据处理时应注意的几个问题探讨/中国海洋学会.中国海洋学会 年学术论文集.北京:海洋出版社:.孟凡军李树军潘宗鹏等.加权模糊 均值聚类算法实现 三频组合观测值优选.国防科技大学学报():.():.刘晏明易鑫李超.基于模糊 均值聚类的比色传感器阵列图像分割算法.计算机系统应用():.():.史新颖夏元平毛曦等.与 相结合的手机大数据聚类方法研究.北京测绘():.():.(.):.().: