面向智慧城市应用的知识图谱构建——以兰州市为例.pdf

SOFTWARE2023软 件第 44 卷 第 7 期2023 年Vol.44,No.7作者简介：梁遵逊（1999），男，甘肃兰州人，硕士研究生，研究方向：GIS 建模与集成、知识图谱。通讯作者：王俊夫（1992），男，四川广元人，硕士，助教，研究方向：GIS 建模与集成、时空大数据分析。面向智慧城市应用的知识图谱构建以兰州市为例梁遵逊1,2 王俊夫1,2 于浩淼1,2 王方雄1,2（1.辽宁师范大学辽宁省自然地理与空间信息科学重点实验室，辽宁大连 116029;2.辽宁师范大学地理科学学院，辽宁大连 116029）摘要：自从知识图谱的概念被提出来以后，研究人员一直致力于对知识图谱的深入研究，以挖掘此项技术的潜力，本文从知识图谱的架构入手介绍了知识图谱构建的步骤和涉及的核心技术，进而进行城市知识图谱的搭建。以兰州市为例，获取城市中餐饮、医疗、教育、旅游景点等领域相对全面的数据让系统最终的实用性与真实性有所保障。考虑到用户的使用体验，设计了前端界面完成知识图谱可视化，用户可以在客户端对知识图谱中的数据进行交互了解城市不同领域的内容结构，展现了该系统的实用性。关键词：知识图谱；知识融合；实体消歧；Neo4j中图分类号：TP311.5;TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.07.046本文著录格式：梁遵逊,王俊夫,于浩淼,等.面向智慧城市应用的知识图谱构建以兰州市为例J.软件,2023,44(07):171-174+178Construction of Knowledge Graph for Smart City Applications:Taking Lanzhou City as an ExampleLIANG Zunxun1,2,WANG Junfu1,2,YU Haomiao1,2,WANG Fangxiong1,2(1.Liaoning Key Lab of Physical Geography and Geomatics,Liaoning Normal University,Dalian Liaoning 116029;2.School of Geographical Sciences,Liaoning Normal University,Dalian Liaoning 116029)【Abstract】：Since the concept of knowledge graph was proposed,researchers have been focusing on in-depth research on knowledge graph to explore the potential of this technology.This article introduces the steps and core technologies involved in constructing knowledge graph from the perspective of knowledge graph architecture,and then constructs urban knowledge graph.Taking Lanzhou City as an example,this article aims to obtain information on urban catering,healthcare,and education,the relatively comprehensive data in fields such as tourist attractions ensures the ultimate practicality and authenticity of the system.Considering the user experience,a front-end interface has been designed to visualize the knowledge graph.Users can interact with the data in the knowledge graph on the client to understand the content structure of different fields in the city,demonstrating the practicality of the system.【Key words】：knowledge graph;knowledge fusion;entity disambiguation;Neo4j设计研究与应用0 引言本文主要研究了时下热门的知识图谱1，从知识图谱的构建结构入手，介绍知识图谱的搭建基础步骤和主要技术，为了制作兰州市的城市知识图谱，对获取的源数据进行处理，得到结构相同的三元组数据，使用Neo4j 图形数据库在图形数据库中搭建起知识图谱结构图，使用 D3.js、JQuery 等前端涉及到的技术，完成知识图谱可视化。1 知识图谱数据源获取1.1 知识获取构建出一个完善的知识图谱，获得大量计算机可以读取的知识数据是基础，知识存在分为三种形式，分别为非结构化的文本数据、半结构化的表格、网页以及生产系统的结构化数据。在对非结构化数据处理上，一开172软 件第 44 卷 第 7 期SOFTWARE始要获取正文可以有效地排除广告，让只需要处理的文本内容呈现，得到文本后，通过自然语言识别技术可以用实体链接技术或者构建实体之间同义词表让不同实体有相同描述，来识别出文本中的实体2。在对半结构化的数据处理方面，主要的工作是为了学习半结构化数据的抽取规则可以通过包装器来进行学习，半结构化的数据具有非常多相似相同的结构，为了让机器从中发现某种方式规则从而可以进一步在整个站点下用同样的规则对符合条件的数据进行相应的抽取获得处理，并可以对数据进行一定的标记注释，最后通过ELT 工具对数据进行处理得到最终需要的结果。1.2 知识融合知识融合3是指在获取大量数据后，由于数据来源不同，可能表述方法也有所差异，为了集中处理要用统一的术语将不同来源的数据融合为一个整体的数据库。本体是提供统一术语的结构数据，不仅提供了术语字典还构建了各个术语之间的关联。本体的作用是可以让用户方便的根据自己的需求建立修改模型，运用到数据映射技术，建立本体术语和不同知识源中知识的映射关系，从而就可以把不同的数据融合在一起。有时候不同的数据源的描述可能都是说明现实世界的同一个实体。此时就需要用到实体匹配技术将不同数据源相同客体的事物整合为一个整体。对于不同的本体最后融合结果的数据库要有一个整合管理的解决方案，根据用户的需求采用不同的存储框架。获取知识图谱构建实体数据源流程图如图 1 所示。通用爬虫框架信息抽取结构化/半结构化Web非结构化Web实体数据干净数据结构化数据融合算法实体消歧归一化处理清洗抽取抓取原始数据图 1 数据源获取流程图Fig.1 Data source acquisition flow chart2 Neo4j 中构建知识图谱2.1 Neo4j 图形数据库介绍Neo4j 属于一种 Java 持久化引擎，是一种基于磁盘的嵌入式拥有一套完整的事物处理能力的引擎，因此Neo4j 也可以被称为是高性能的图引擎，同时完备的数据库所拥有的特性，Neo4j 图形数据库都具备这些特点。相比起关系数据库来说，Neo4j 在处理数据量比较大且比较复杂但是相互连接和低结构化的数据时拥有巨大优势，围绕着图形 Neo4j 会根据数据建模可以快速地遍历检查每一个节点和连接，这个过程非常的迅速，不存在表的链接重建，也不会受到数据量的影响，可以快速准确地完成查询，非常适配比如城市这种大批量的数据。2.2 Neo4j 中知识图谱结构设计Neo4j 中的四个基础概念，分别是标签（Label）、节点（Node）、关系（Relationship）、属性（Property）这四类是搭建知识图谱的基础。（1）标签（Label）：标签一般是指节点所属于的类别，同一个节点可以拥有很多种的标签，这也让知识图谱的丰富性提升了很多。（2）节点（Node）：节点对应到显示生活中就是指一个确定真实存在的对象，也就是城市知识图谱中各个地点的名称，一个节点可以有多个标签也可以有多个属性，这样数据才具有准确性和实用性，可以表现出数据的多方面特征和特点。（3）关系（Relationship）：关系是图型数据库和以前用的例如 MySQL 这类数据库最大的区别，关系是用来描述各个节点之间的联系，图形数据库可以很清晰地展示这种网状连接的方式。（4）属性（Property）：属性是用来描述节点特征的，一般是 key-Value 结构。此系统搭建兰州市的城市知识图谱，涉及到餐饮、教育、医疗、旅游等领域，可以比较清晰完整地展现出兰州市各个区县领域内的详情。为了能够清晰地展现出各种节点之间的联系以及层级之间的关系，采用逐层的方式来构建，通过设置的关系类别将同一类别的数据归类到一起。搭建结构如图 2 所示。城市区县地点餐饮医疗评级教学质量属性属性属性属性学生评价师资力量其他教育旅游娱乐项目项目评价其他项目简介地址项目地点地点地点关系关系关系关系关系关系关系关系关系关系关系关系关系关系关系关系关系关系关系学校名称师资力量教学质量学生评价图 2 图谱搭建基本结构图Fig.2 The basic structure diagram of the map is built2.3 实体数据导入Neo4j 导入数据的方法分别是 CREATE 语句导入、LOAD CSV 语句导入、Neo4j-import 导入。CREATE 语句导入适用的数据量比较小，需要人工逐条输入，一般来说适用于一万以内的节点数据量，虽173梁遵逊 王俊夫 于浩淼等：面向智慧城市应用的知识图谱构建以兰州市为例然语句比较简单，而且可以实时给 Neo4j 中插入数据，但缺点是速度慢，数据导入速度很缓慢，而且录入过程的工作量也比较庞大。LOAD CSV 语句也可以实现实时插入，不过需要把数据转化成 CSV 格式，明显比起 CREATE 语句要方便很多很多。相比起以上两种，Neo4j-import 非常适合形成新的数据库，数据导入速度很快，使用起来也非常方便。本次实验的数据源大概有 28 万条左右的数据，生成新的数据库，需首先对处理好的实体数据进行格式处理，然后将供处理成.txt 格式的文件，按属性依次排列，最后将编写代码导入图形数据库。2.4 数据库设计Neo4j 图数据库遵循属性图模型来存储和管理其数据，其中节点和关系都包含属性，关系链接节点，属性是键值对，每个关系都包含前驱节点和后继节点，其中主要包含两种数据类型：Nodes(节点)和 Relationships(关系)。它们各自内部又包含 Key-value 形式的属性，然后节点之间通过关系相连，形成了关系型的网状结构4，具体结构如图 3 所示。图节点关系属性分配前后节点在其中记录数据在其中记录数据havehave图 3 关系型的网状结构Fig.3 Network structure of relational type部分关系属性结构和部分领域节点属性结构如表 1-表 3 所示。2.5 知识图谱搭建完成效果按照此类格式可以完整构建起来知识图谱中的一个分支，其他分支也是类似的方法，具体搭建起来的城市知识图谱效果如图 4 所示，Neo4j 中自动帮我们按照Node Labels、Relationship Types、Property Keys节点、关系、属性分成了三类，可以直接从上面查询相关信息，单个节点结构如图 5 所示。3 可视化界面开发3.1 系统开发技术在前端设计中，前端框架包含 LayUI、JavaScript表 1 部分关系属性与节点关系Tab.1 Part relation attributes and node relationships前驱结点关系属性后继节点城市名称区县区县名称对应节点地址具体坐标地址对应领域节点评价具体评价领域名称系别对应领域下节点前驱节点类别名称具体名称的节点城市区县道路具体道路信息医疗医院名称评级医院医疗等级对应领域节点店铺具体店铺节点对应领域节点简介对应的简单介绍表 2 餐饮节点属性结构Tab.2 Attribute structure of catering nodes字段名字段类型说明IDvarchar餐饮 IDnamevarchar店铺名称S_addressvarchar具体地址gradeint评分等级C_evaluationvarchar部分客户评价Style_cookingvarchar所属菜系introductionvarchar简介average pricedouble平均价格表 3 医疗节点属性结构Tab.3 Attribute structure of medical node字段名字段类型说明IDvarchar医院 IDnamedouble医院名称Positiondouble医院地址M_levelvarchar医疗等级C_evaluationvarchar评价equipmentvarchar医疗设备介绍introductionvarchar医院简介M_ capacityvarchar医疗能力评级图 4 知识图谱搭建完成效果图Fig.4 Effect diagram of knowledge map construction174软 件第 44 卷 第 7 期SOFTWARE中的函数库 D3、轻量级框架 jQuery5。jQuery 是一个非常优秀的轻量级框架，对于各大浏览器和 CSS3 兼容性都比较高，包含大部分数据可视化时需要实现的功能。具有 HTML 元素的操作与选取，CSS 文件的操作，JavaScript 图形特效和动画展示，包含元素节点的遍历和修改。D3 全称是 Data-Driven Documents6，也是一个JavaScript 的函数库，在业内主要就是用来进行数据可视化，提供了很多简单易用函数，包括画图组件，用来绘制可视化的图形。LayUI 是在设计前端时所用的框架，这是一款采用自身模块规范编写的前端 UI，这个框架定义了很多前后端交互的接口，只需要前端配置好接口，后端根据设定的规则返回数据就行，很大程度上进行了简化，让开发人员代码压力小了很多。3.2 界面设计与功能设计设计的 4 个界面分别是登录界面（需要输入账号名和账号密码来登录此系统的界面）、索引界面（在此界面中可以展示知识图谱，并且引导用户选择执行增加、删除、查询更改功能）、具体操作界面（当用户选择了索引界面的某个功能后会自动跳转到具体操作界面，需要用户自己填写需要的节点名称关系）、操作成功界面（提示用户已经完成操作，并给出可以转到主界面的链接按钮）。前端页面设计完成后，需要丰富功能的实现，分别要完成添加节点添加关系，更改节点名称更改关系名称，删除节点删除关系，各领域节点的查询与可视化，区域结果统计，节点数量统计，完成与 Neo4j 数据库的数据连接，将前端界面进行操作的结果实时到图形数据库中7。功能设计图如图 6 所示。3.3 后端实现与展示后端要实现的功能有以下几个：连接 Neo4j 图形数据库完成展示知识图谱功能；完成增加节点增加关系功能并将结果同步到 Neo4j 数据库中，可以通过数据库语言进行查询；完成更改节点名称和关系名称的功能并同步到 Neo4j 数据库中；完成删除节点与删除关系的功能。用户可登录的用户账号密码存在 MySQL 的一个表中，所以我们要做的就是链接 MySQL 获得 MySQL 中的返回值得到 Connection。在进行节点操作时节点需要属性，关系需要前驱节点与后继节点，通过一套 Cypher 可以将输入的内容进行拼接8,9，形成一个整合的节点或者是节点与关系的组合。为了能够在前端展示出 Neo4j 中的部分知识图谱，需要一个展示功能，这里使用到 Neo4j 一个操作类Neo4jRestAPI 连接图形数据库10，获取节点关系的数据，返回关系的 StringBuffer，为可视化做准备。关系的StringBuffer，一般是 JSON 格式，解析之后的 Result 里包含所有的 Path,当我们得到关系属性键后就可以初步处理关系属性，返回关系中节点的 StringBuffer 也类似，只是需要再用一个 Set 集合去除重复项，在增加新节点前会自动判断是否新节点在以前的集合中。对于关系的去重，选择新建一个Map，以startNodeId作为 Key，以 endNodeId 作为 Value，用来去重，因不清楚能不能进行批处理，所以此次实验中没有用到批处图 5 单个节点结构展示图Fig.5 Shows a single node structure图 6 功能设计图Fig.6 Functional design diagram图 7 前端可视化结果Fig.7 Front-end visualization results 下转第178页系统功能设计知识图谱功能统计功能相关领域节点结果分析注册登陆功能用户注册用户登录管理员登录医疗节点分析美食节点分析教育节点分析其他节点分析区域结果统计节点数量统计节点属性查询节点属性删改节点关系添加节点关系删除相关节点显示图谱结构展示178软 件第 44 卷 第 7 期SOFTWARE关键区别，将会带来重大挑战。2.6 其他移动性问题决定网络性能的其他关键参数包括 QoS、带宽、功率水平、覆盖范围、高频频段的使用和时延。由于无人机的高机动性，无人机网络更容易受到频繁切换的影响。传统的切换机制将是无效的，新技术必须考虑无人机网络将面临的潜在挑战。3 结语无人机是地面 BS 或 UE 的流行替代品，由于功耗有限、丢包或网络密集，无人机操作过程中可能会出现各种挑战，使得切换过程对于有效数据传输至关重要。研究趋势表明，在未来的移动网络中，无人机在移动蜂窝网络、卫星网络和其他传统技术（如 MANETS、VANET 和IEEE 802.11）中的集成将是主要解决方案的一部分。与传统方法相比，基于机器学习和深度学习的切换模型在重叠区域的成功率更高，评估开销更少，这表明该技术可能是管理无人机切换问题的成功解决方案。参考文献 1 SHAYEA I,DUSHI P,BANAFAA M,et al.Handover Management for Drones in Future Mobile Networks-A SurveyJ.Sensors,2022(22):1-36.2 CHANDHAR P,LARSSON E G.Massive MIMO for Connectivitywith Drones:Case Studies and Future DirectionsJ.IEEE Access,2019(7):9467694691.3 CHOWDHURY M Z,SHAHJALAL M,AHMED S,et al.6G Wireless Communication Systems:Applications,Requirements,Technologies,Challenges,and Research DirectionsJ.IEEE Open Journal of the Communications Society,2020(1):957-975.4 YANG C,LIN Z,YING C L.Deep Reinforcement Learning for Multi-User Access Control in UAV NetworksC/IEEE International Conference on Communications,2019:1-6.理，过程和判断节点是否重复类似，节点的集合是 Set,关系的集合是 Map。完成这些之后就可以进行查询，在添加之后也不会出现重复添加同样节点或关系的问题。展示前端可视化结果，如图 7 所示，为了减少节点图形之间的碰撞，让图看起来更加简洁一点，只展示了 200个数据。4 结语本文完整实现了城市知识图谱的构建，在数据源获取阶段对不同结构的数据通过爬虫框架与信息抽取的方式获得原始数据，进一步对数据进行归一化处理结合融合算法与实体消歧获得统一结构化的实体数据。在 Neo4j 图形数据库中选择 Neo4j-import 方法进行导入，按层级与领域划分节点类别设置节点的属性与关系属性，搭建起结构完整的知识图谱。在可视化方面采用前端轻量级框架 jQuery 与 LayUI，后端用到操作类 Neo4jRestAPI 链接图形数据库。在客户端实现了知识图谱的可视化，让操作人员可以了解到城市类，如医疗、餐饮、教育、旅游等领域的内容，对学习知识图谱结构与了解城市内容有一定的应用价值。参考文献1 刘燕,贾志杰,闫利华,等.知识图谱研究综述J.赤峰学院学报(自然科学版),2021,37(4):33-36.2 张奇.信息抽取中实体关系识别研究D.合肥:中国科学技术大学,2010,37(4):33-36.3 杜睿山,陈寰宇.构建知识图谱实现知识融合评知识图谱J.山西财经大学学报,2021,43(5):127.4 赵毓诚,陈建军.人工智能领域知识图谱构建与分析J.计算机与数字工程,2021,49(3):514-520.5 黄申永芳.基于jQuery框架的Web前端开发的研究J.信息通信,2019(10):105-107.6 Marcos Iglesias.Pro D3.jsM.Apress,Berkeley,CA:2019-01-01.7 赵尔平,王禹皓,王伟.一种知识图谱可视化方法及系统:中国,CN202110027767.3P.2021-11-26.8 杨振,万为清.图数据库的研究和应用J.电脑编程技巧与维护,2020(12):91-93.9 李艳茹,周子力,倪睿康,等.基于知识图谱的学科知识构建J.计算机时代,2021(4):65-68.10 张丹普,董雪梅,赵曼.一种基于Neo4j高性能图数据库的关系图谱更新方法:中国,CN201911091235.5P.2021-05-11.上接第174页