海关大数据分析系统的研究与设计.pdf

物联网技术 2023年/第9期 智能处理与应用Intelligent Processing and Application840 引 言海关风险布控是海关入境检疫和安全的重要保障，海关监管人员综合各类风险信息数据，对照商品货物报关单、舱单信息，分析商品货物中可能存在的风险，依据经验对某些高风险商品进行布控，进入人工查验环节的过程。传统风险布控流程智能化程度较低，风险分析和布控的标准无法统一，准确率和布控查获率较低，无法满足海量商品单证风险分析的需要。因此，迫切需要实现该工作流程的智能化和系统化，这一流程的智能化要解决海关表格数据的分类。对于数据分类问题，本质上是要构造一个函数，将连续型变量映射成离散型变量。假设 D(X)是实例空间 X 上的一个概率分布，S是从众多海关数据中抽取的训练集，训练集 S 中的每个实例都以概率分布 D(X)从实例空间 X 中取得，x 为 S 中的样本。训练集 S 被选中的概率 P 满足如下公式：PD Xx s=()（1）海关智能化风险布控的目标如式（1）所示，根据训练集 S 构造一个分类模型，预测实例空间 X 中实例的分类。假设 c*是实例空间 X 的正确的分类函数，即对于任意的x X，c*(x)是它正确的分类。显然，c*可以完全由集合x X：c*(x)=1 确定。为了描述方便，可以令 c*=x X：c*(x)=1。然后，令 h 为由训练集 S 构造的分类器，则分类器 h 的真正错误概率可以定义为：errD hD h cxh c D x()(*)*()=（2）式中，hc*=xX：h(x)c*(x)是h和c*的异或集。同时，分类器 h 的实验错误概率可以定义为：errS hSh cS()()*=（3）根据海关数据的特点选用适当的分类模型，并将分类模型系统化，实现智能化风险布控是海关入境检疫和安全的巨大进步。1 应用系统结构基于先进的 B/S 架构即浏览器和服务器架构开发应用系统，由 3 个模块组成：Web 应用程序模块、数据处理模块、数据存储与分类模块。各模块功能和数据流如图 1 所示。图 1 系统模块功能框图将来自于 H2010/H2018 系统、e-CIQ 下发库、舱单管理系统的海关数据汇集到数据汇聚服务器中，通过数据的抽取、海关大数据分析系统的研究与设计王正刚1,2,3，刘 忠1,3，刘 伟2，金 瑾4（1.中国科学院 成都计算机应用研究所，四川 成都 610041；2.中华人民共和国成都海关，四川 成都 610041；3.中国科学院大学，北京 100049；4.成都信息工程大学，四川 成都 610103）摘 要：本文依据智能化海关数据分类，设计 Web 应用程序模块、数据处理模块、数据存储与分类模块，构建海关大数据分析系统。通过研究 Python 函数包提升数据库与网络模型之间的交互效率，实现 Python 与 SQL 之间高效调用。研究了应用系统的部署、数据、安全体系架构，分析了系统承载的软硬件环境，综述了海关监管人员运用海关大数据分析系统从事商品单证风险布控的新流程，该系统实现了海关智能化风险布控。关键词：海关入境检疫和安全；海关大数据分析系统；物联网；数据库；系统架构；B/S 架构中图分类号：TP39 文献标识码：A 文章编号：2095-1302（2023）09-0084-04DOI：10.16667/j.issn.2095-1302.2023.09.021收稿日期：2022-10-19 修回日期：2022-11-17基金项目：四川省科技厅科技平台（创新人才支持计划）“四川对外贸易数据分析与风险防控”（2020JDR0330）2023年/第9期 物联网技术智能处理与应用Intelligent Processing and Application85转换、清洗、加载等处理过程，完成多种形式表格数据的转化，并存入应用数据库中。编写 Python 函数包，实现 Python 与SQL 之间的调用，通过数据存储和分类模块对数据进行分类，并对系统的架构进行研究，实现较好的交互功能。1.1 Web 应用程序模块Web 应用程序模块的主要任务包括构建 Web 页面的上传数据、模型选择与分析、训练过程、结果输出等服务控件。从应用数据库中提取数据文件，通过数据处理模块的数据规则进行清洗，完成数据清洗以及语义替换后，根据文献 1所述完成模拟图像转化，将表格数据的处理转化为计算机处理的形式。该模块采用 Deamweaver 10 和 Visual Studio 2012作为开发平台2，通过将Deamweaver与Visual Studio相结合，可以大大提高数据库与 Web 应用程序的集成效率，实现实时查询和访问更新数据库的功能。1.2 数据处理模块数据处理模块需要完成不同来源、格式和特点的数据在逻辑上或物理上的集中，提供 3 个主要业务数据库，包含H2010H2018 报关单管理数据库、e-CIQ 下发数据库以及舱单管理数据库的数据共享，运用ETL（Extract-Transform-Load）工具3实现不同数据库之间海关数据的抽取、转换和加载。ETL 的基本流程如图 2 所示。图 2 ETL 数据抽取和加工过程1.2.1 增量数据抽取抽取是在数据库中抽取表中新增或修改的数据，抽取要求准确性和稳定性。准确性是能够将业务系统中的变化数据按一定的频率（系统设计抽取时间为 12 h）准确地捕获到；稳定性是不能对现有业务系统造成太大的压力，影响现有业务开展。因此，从现实使用效率和整体虚拟机集群的稳定性考虑，海关大数据分析系统相关数据库抽取选用增量抽取 方式。1.2.2 数据转换将从 3 个源数据库抽取的数据按照海关数据分类需求，对不同数据库抽取的表头、表体数据进行关联，为每条单证构建一张包含全部数据字段的数据表格。对不满足目的库海关数据分类要求的数据进行数据转换、清洗和加工，并对表格数据进行二维化，为神经网络提供训练数据集。1.2.3 数据加载将转换和加工后的数据装载到目的库中是 ETL 过程的最后步骤。由于目的库是关系数据库，因此采用批量装载方法，运用 sqlldr 等命令实现，采用这种方法进行的日志记录是可恢复的，具备更好的可追溯性和可靠性。1.3 数据存储与分类模块数据存储与分类模块是海关大数据分析系统的核心组成部分。运用 Python tensorflow 3.7 架构，通过“数据加载模型加载模型训练和保存”3 个步骤，完成 Resnet504、Xception5、Mobilenet-V26、BF-Net1等 4 种网络训练模型的保存。该模块包含 4 种使用原始海关数据训练完成的模型文件，以及在系统使用过程中对新抽取的海关数据进行训练的模型文件，具备增量数据训练功能和实时数据分类功能。网络模型编译由 Python tensorflow 3.7 完成，为了实现Python 与 SQL 之间的高效调用，我们对模型与数据库连接的编程做了相应研究。数据库驻留表上的应用程序在尽可能接近数据的地方执行计算，通过对这些表的查询来表示计算。由于这些计算内容是即时性的，并可能首先占用应用程序的堆栈空间，因此在编程时需要利用现代数据库内核最新设计的数据处理能力，并避免提取太多具有一定规模的表内容。在数据库编程的过程中，难以一直坚持这样的规则，如果计算很复杂，大部分的应用程序就会用命令式的常规程序来实现。程序执行是在数据库内核之外执行的，与数据存在一定的距离；然后，这些程序通过嵌入式 SQL 查询与数据绑定，并查询、识别和提取与下一个计算步骤相关的数据部分。Python 解释器和SQL 引擎的相互作用如图 3 所示。图 3 Python 解释器和 SQL 引擎的相互作用为了提升数据库与网络模型之间的交互效率，编写Python 函数包，函数包包含 while 嵌套和 for 迭代，包括早期退出（break）、条件执行（if/else）、语句排序和变量引用/更新等命令式编程范式的特征结构。该函数包嵌入通过 SQL物联网技术 2023年/第9期 智能处理与应用Intelligent Processing and Application86语句发出的 SQL 查询等操作，实现 Python 与数据库之间的调用。任何编程语言和数据库后端都存在连接和部署的问题。在本系统中，主要用到 Python3 和 Python3 的 Psycopg2 和pymysql 库7，针对 PostgreSQL 后端运用库实现广泛的数据库部署。如图 4 所示，PostgreSQL 从用户输入查询到最后结果的输出可以分为两大部分：前台处理和后台执行。其中后台执行又包含 4 个部分：Parser、Rewriter、Planner、Executor。图 4 PostgreSQL 查询基于函数包的应用程序在运行时，其性能通常可以达到调用的效果8。每次调用函数包都会在 Python 解释器和SQL 数据库引擎之间产生一个常量。执行由 Python 端启动，它遵循函数体的控制流。当嵌入式查询SQL(Qi,v1,.,vn)时，数据库引擎计划查询 Qi（或从缓存中检索以前构造的计划），实例化计划参数 v1,.,vn操作，评估计划，然后将结果返回给 Python 之前拆卸临时计划的数据结构。图 3（a）描述系统反复地为 Qi的任务触发拆卸，如果SQL 查询是迭代的，则代价比较大，一个函数调用往往会导致计划和评估两位数以上的 SQL 查询。基于函数包的方式可以有效地避免这种冗余情况，如图 3（b）所示。由于数据分类任务的实时性要求，将复杂的计算驻留在数据库系统9之外，采用函数包的编程方式实现 Python 与SQL 之间的调用是非常有效的解决方案。2 系统体系架构海关大数据分析系统体系架构包含系统部署、系统数据和系统安全架构。系统部署架构如图 5 所示。2.1 系统部署架构应用和数据库独立部署在海关管理网Vmware虚拟平台。数据库独立部署采用读写分离，同时采用独立的存储保障数据的安全，提高系统的稳定性和可靠性。2.1.1 数据流通过 ETL（Extract-Transform-Load）工具对增量数据进行抽取，完成表格数据抽取、清洗、合并过程，再通过内网交换平台汇聚到数据汇聚服务器，实现数据转换，生成模拟图像，并传输到数据库服务器。应用服务器通过 API 接口调用模拟图像，进行海关数据分类识别，最后由系统计算每一条单证数据的分类结果。图 5 海关大数据分析系统部署架构2.1.2 可靠性对海关大数据分析系统的应用和数据接口实现统一，对数据实现集中存储。基于海关内网已有虚拟化平台和服务器操作系统运行要求，该系统需兼容 Vmware、KVM、QEMU等多种虚拟化平台环境，同时适用于 x86 和 Linux 等不同架构的操作系统。2.1.3 扩展性针对海关风险管理部门对系统的扩展性需求，该系统预留水平或垂直扩展条件，以充分利用硬件系统的资源，满足海关大数据分析业务场景扩展要求，提升系统对新出现表格数据类型的兼容性和适用性。2.2 系统数据架构海关数据信息主要包括海关管理的贸易态势以及综合业务、打击走私、关税征收、卫生检疫、动植检疫、食品安全、商品检疫、口岸监管等业务信息。在数据架构设计时，以海关报关和舱单数据为主，充分考虑模拟图像数据的处理和存储，以及数据库的使用性能，合理规避数据库的瓶颈，以此对数据进行分类分库处理。2.2.1 数据管理为抽取的数据建立统一的数据仓库，数据仓库支持数据服务管理和元数据管理，同时集成 BI（Business Intelligence）工具支撑服务和组件，为元数据管理提供完整数据字典。数据仓库根据数据的生命周期，考虑了数据访问、数据传输、数据存储到数据销毁各环节的数据安全。2.2.2 数据访问海关监管人员日常访问操作需通过身份鉴别。数据库管理员的运维操作均须双因素认证，操作权限须经安全审批并进行命令级规则固化。系统会对违规操作进行实时 报警。2023年/第9期 物联网技术智能处理与应用Intelligent Processing and Application872.2.3 数据存储所有数据均采用碎片化技术进行保存，将数据分割成众多数据片段，并遵循不一样的随机算法将数据存储在服务 器上。2.2.4 数据销毁采用内存释放和数据清空手段在需要清除数据时对所有数据进行彻底删除，数据库管理员应对数据库服务器和存储情况进行实时监控。2.3 系统安全架构针对系统涉及的应用和数据资源开展定期备份，并定期巡检备份日志和状态。同时，为确保数据和网络安全，需要对系统进行 3 个方面的安全设计和管理：安全审计、访问控制、数据加密10。对接入系统的设备进行统一管理，对登录系统的用户身份进行识别和管理；加强用户权限的管理，实现特权用户的权限分离；对所有系统运维人员的全部操作行为进行记录；对物理资源和虚拟资源进行统一调度和分配。涉及对相关数据进行操作和使用时需要向相关业务主管部门进行申请审批。2.4 系统软硬件运行环境系统运行的软硬件环境为：Vmware 虚拟化平台，版本号为 VmwarevCenter6.7；承载虚拟机的物理机集群为联想 ThinkSystem SR850 IBM V5000+EMC 存储网关，分配 3 台服务器虚拟机资源用于该系统的部署维护。3 台服务器配置见表 1 所列。表 1 虚拟机服务器配置参数服务器配置应用 服务器CPU：2 颗；内存：16 GB；操作系统：Windows Server 2012 R2 64 位；硬盘：600 GB数据库服务器CPU：4 颗；内存：32 GB；GPU：128 MB；操作系统：Windows Server 2012 R2 64 位；硬盘：1 TB数据汇聚服务器CPU：2 颗；内存：16 GB；操作系统：Windows Server 2012 R2 64 位；硬盘：500 GB3 海关大数据分析系统在传统方式下，海关监管人员需要逐一对近期需要通关的每一单进出口商品特别是进口商品开展风险分析，下达风险布控指令，工作压力巨大，且风险分析的效率和准确度较低。而风险布控的商品越多，一线海关查验人员的查验压力也越大。依托海关大数据分析系统，海关监管人员只需要点击分类的数据项，再在右边“选择模型&分析”栏目中选择用于分类的神经网络模型，点击“训练模型”，即可实现海关表格数据的自动风险分类。海关监管人员依托该系统过滤掉大量的可以直接放行的低风险商品单证（一般情况下，1 000 条报关数据可以直接过滤掉 800 条左右的低风险商品信息），大大提高了海关风险布控的效率。同时，根据高风险商品的分类信息下达相应的风险布控指令，进入查验环节，由此基本实现了海关智能化风险布控。另外，海关监管人员还可以对不同模型的风险判别结果进行交叉验证，根据国家政策调整和海关总署令的要求以及对外贸易的形势变化，选择严格或宽松的风险布控尺度，更好地实现人机交互。海关大数据分析系统如图6所示。图 6 海关大数据分析系统4 结 语本文提出用 Web 应用程序、数据处理、数据存储与分类等 3 个模块构建海关大数据分析系统。研究了应用系统体系架构，包括部署、数据、安全运维架构体系；分析了系统承载的软硬件环境。海关监管人员应用海关大数据分析系统可以大大提高风险布控的精准度和效率，减轻一线查验人员的负担，实现海关智能化风险布控。参考文献1 王正刚，刘伟，金瑾.一种海关数据风控类型识别方法、海关智能化风险布控方法、装置、计算机设备及存储介质：CN112966131A P.2022-08-10.2 王琳，肖曼.基于 Visual Studio 的会务管理系统 J.武汉大学学报（工学版），2012，45（4）：520-522.3 赵乐，赵宏宇，刘斌，等.基于语义树的非结构化年鉴 Excel 表格的 ETL 方法 J.计算机应用，2021，41（S2）：131-135.4 王朔，郭凤娜.基于 YOLOv3 与 ResNet50 算法的智能垃圾分类系统 J.传感器世界，2021，27（9）：29-34.5 李锦通，安建成，王悦，等.改进 Xception 模型的乳腺钼靶图像识别研究 J.计算机测量与控制，2022，30（8）：189-196.6 肖易寒，李航，于祥祯，等.基于 MobileNetV3-SVDD 的雷达信号调制方式开集识别 J.哈尔滨工程大学学报，2022，43（8）：1178-1185.7 HUNT J.Advanced guide to Python 3 programming M.Cham：Springer，2019：283-289.（下转第93页）2023年/第9期 物联网技术智能处理与应用Intelligent Processing and Application93数来看用内存来存储完全够用，所以在追求较快运行速度的前提下优先使用内存来存储，在以后挖掘时遇到内存不够时也会选用外存来存储数据。5 结 语由于环境和宿主的选择压力，一部分基因一起发生突变，这样就形成了共突变，就相当于本文的并发变异关系。在癌症细胞中存在互斥变异关系，在同一致病通路上的基因只需要变异一个即可以导致功能异常，因此多个基因的变异会使得功能冗余，不具有选择优势16。在生物变异的过程中一个基因的变异会导致另一个基因的变异，这就是本文中的关联变异关系。因此，对生物变异的并发变异关系、互斥变异关系、关联变异关系的挖掘是非常有必要的。本文通过挖掘新冠病毒基因序列的并发变异关系，可以判断新冠病毒序列之间的同源性，证明结构关系模式挖掘是可以应用到生物变异信息挖掘的；此外就目前数据规模而言，算法效率是可以接 受的。参考文献1 芦鸿曦，刘刚，陈歆.世界卫生组织关注的新型冠状病毒变异株病毒学特征分析 J.新发传染病电子杂志，2022，7（1）：88-91.2 朱扬勇，熊赟.DNA 序列数据挖掘技术 J.软件学报，2007，18（11）：2766-2781.3 YANG A，ZHANG W，WANG J，et al.Review on the application of machine learning algorithms in the sequence data mining of DNA J.Frontiers in bioengineering and biotechnology，2020（8）：1032.4 QIN L，DING X，LI Y，et al.Comutation modules capture the evolution and transmission patterns of SARS-CoV-2 J.Briefings in bioinformatics，2021，22（6）：222.5 LIU S，SHEN J，FANG S，et al.Genetic spectrum and distinct evolution patterns of SARS-CoV-2 J.Frontiers in microbiology，2020（8）：2390.6 MISHRA A，PANDEY A K，GUPTA P，et al.Mutation landscape of SARS-CoV-2 reveals five mutually exclusive clusters of leading and trailing single nucleotide substitutions J.Cold spring harbor laboratory，2020（5）：082768.7 高冰，吕静，陈未如.并发分支模式及其挖掘算法 J.沈阳化工学院学报，2006，21（1）：59-62.8 吕静，陈未如，刘俊，等.并发分支模式挖掘 C/第二十一届中国数据库学术会议论文集（技术报告篇）.厦门：中国计算机学会数据库专业委员会，2004：299-301.9 张洋，陈未如，陈珊珊.并发序列模式挖掘方法研究 J.计算机应用，2009，29（11）：3096-3099.10 张洋，陈未如，王翠青.互斥关系模式挖掘算法研究 J.沈阳化工学院学报，2009，23（2）：154-160.11 陈未如，李丹，张雪.结构关系模式挖掘在生物信息中的应用 J.沈阳化工学院学报，2009，23（3）：266-270.12 刘彬，秦照玲，戚中田.新型冠状病毒基因组结构与蛋白功能 J.微生物与感染，2020，15（1）：52-57.13 刘维.生物序列模式挖掘与识别算法的研究 D.南京：南京航空航天大学，2010.14 管恩政.序列模式挖掘算法研究 D.长春：吉林大学，2005.15 张卫华.基于矩阵的 apriori 算法的改进 J.电子设计工程，2015，23（13）：52-54.16张泽宇.互斥基因查找的方法研究D.合肥：中国科学技术大学，2021.作者简介：高胜召（1996），男，硕士研究生，研究方向为数据挖掘。陈未如（1963），男，教授，研究方向为智能计算和数据挖掘。张 雪（1976），女，讲师，研究方向为数据挖掘。陈章昭（1998），男，硕士研究生，研究方向为数据挖掘。韩 静（1995），女，硕士研究生，研究方向为数据挖掘。作者简介：王正刚（1982），男，博士研究生，工程师，研究方向为数据挖掘、人工智能。刘 忠（1968），男，博士后，研究员，研究方向为数据挖掘、人工智能。刘 伟（1968），女，硕士，副教授，研究方向为数据挖掘、计算机应用技术。金 瑾（1988），女，博士，副教授，研究方向为数据科学、人工智能。8 王兰成.PL/SQL 的过程，函数，程序包和数据库触发器（十一）J.核工业自动化，2004，27（4）：43-48.9 朱阅岸，简怀兵，龙永超，等.构建新型高性能与高可用的键值数据库系统 J.软件学报，2021，32（10）：3203-3218.10 黄益彬.基于大数据的网络信息安全防护策略 J.计算机与网络，2020，46（2）：52.（上接第 87页）