物联网系统技术方案.doc

物联网系统技术方案南京绛门通讯科技股份有限公司2023年12月目录一.前言51.1.建设背景51.2.设计原则51.3.系统分析61.3.1.系统说明61.3.2.运行环境与开发模式的选择61.3.3.可行性分析81.3.4.四大特点9二.解决方案102.1.总体方案设计102.1.1.系统框架结构102.1.2.总体系统架构132.1.3.系统组网图132.1.4.物理组网图152.1.5.系统总体功能构架152.2.应用层功能需求详细设计162.2.1.登陆162.2.2.采集设备管理162.2.3.监控管理182.2.4.告警管理192.2.5.统计分析202.2.6.系统管理202.3.基础层功能设计212.3.1.身份认证212.3.2.账户管理212.3.3.权限管理212.3.4.提醒机制222.3.5.日志管理22三.关键性技术223.1.系统技术架构方面的技术路线223.2.Mysql集群部署243.3.Nginx负载均衡263.4.地图接口/工作流引擎集成/报表工具27四.性能配置274.1.业务指标274.2.性能指标28五.软硬件配置清单295.1.软件方案295.2.硬件方案30六.项目资金预估30七.项目实际计划30一. 前言1.1. 建设背景物联网是指通过各种信息传感设备，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人，所有的物品与网络的连接，方便辨认、管理和控制。其在2023年的产业规模超过2600亿元人民币。构成物联网产业五个层级的支撑层、感知层、传输层、平台层，以及应用层分别占物联网产业规模的2.7%、22.0%、33.1%、37.5%和4.7%。而物联网感知层、传输层参与厂商众多，成为产业中竞争最为剧烈的领域。1.2. 设计原则1、 基础性和整体性整个系统的各种软件应符合国际、国家及行业相关标准。2、 技术的先进、实用性目前技术发展迅速，本系统需要考虑未来的扩展性，在采用的技术方面应体现先进、实用，才干保证本项目建设结束后相称一段时间内技术不落后。由于此项目是工程建设项目，不是科研项目，所以使用先进技术并不能使用未经验证的、不成熟的技术和概念，而是以先进的、成功的理念为核心的成熟技术的组合。3、 系统的开放性、可扩展性和安全性开放的结构意味着通信协议的开放和数据与数据结构的开放和共享。通信协议开放，系统接口透明，便于与其它系统组网，实现系统的集成与资源共享；数据与数据结构的开放，使用户可以很方便地从系统中抽取所需要的各种数据和信息，实现信息互换与共享。4、 规范性系统设计符合有关国家和行业通用标准、协议和规范，符合国家与部颁标准及行业规范的规定；保证系统运营稳定可靠、数据安全；系统接口规范统一。5、 经济性可以实现最优的系统性能价格比，充足运用有限的资金，发明巨大的社会效益和经济效益。随着物联网的行业发展，市场规模也在飞速增长，物联网平台的经济性巨大，感知层、传输层参与厂商众多，成为产业中竞争最为剧烈的领域。1.3. 系统分析1.3.1. 系统说明描述整体系统功能概述和应用简述关键功能点，并对关键功能点有个总体概述1.3.2. 运营环境与开发模式的选择本系统采用基于Web开发的JSP技术。JSP是一项功能强大的用于构建动态Web应用程序的技术。它可完全运用Java架构的强大、安全和高效的平台特性。数据库开发系统采用MySQL5.5数据库。它是一个快速、多线程、多用户的SQL数据库服务器。具有强大的数据存储功能并兼有支持客户机/服务器的运营环境、多线程体系结构，支持存储过程、支持触发器和逻辑内存管理和成本低等优点。1. JSP技术JSP技术是用成熟、强大、易扩充的Java语言作为脚本语言。它重要具有以下优势：l 高效性与安全性。JSP在执行前先被编译成字节码，字节码由Java虚拟机解释执行，比源码解释效率高。l 可维护性。由于JSP技术是一种开放的、跨平台的结构，因此Web服务器、平台及其他组件能很容易升级或切换，且不会影响JSP基本的应用程序。l 多样化和功能强大的开发工具支持。Java已有了许多优秀的开发工具，并且许多可以免费得到，且其中许多已经可以顺利的运营于多种平台之下。2. MySQL5.5 开源数据库MySQL5.5是Oracle公司推出的数据库管理系统的版本。MySQL5.5数据库引擎提供完整的XML支持。MySQL5.5关系数据库引擎支持当今苛刻的数据解决所需的功能。数据库引擎充足保护数据完整性，同时将管理众多并发修改数据库的用户的开销减到最小。MySQL5.5分布式查询使得以引用来自不同数据源的数据，同时分布式事务支持充足保护分布式数据更新的完整性。3. 开发模式本系统最终的水文数据会公开呈现给不同部门的相关用户或者政府领导，因此它需要实现对系统用户的不同管理。本系统采用B/S体系结构来进行系统的设计。B/S三层体系结构如图1所示。图1 B/S三层体系结构图4. 开发运营环境 开发运营必备条件如下：l CUP：保证系统、数据库和服务器运营流畅，推荐2.0GHz以上。l 软件平台：MyEclipse10。l 服务器端操作系统：独立于操作系统的跨平台系统，采用Win7及以上版本，考虑其稳定性。l 数据库：MySQL。l Web服务器：Tomcat7.0服务器。l 客户端运营环境：能运营IE9.0以上或GoogleFirefox浏览器的操作系统。1.3.3. 可行性分析1. 技术可行性根据本系统的功能需求，采用JSP技术与开源的MySQL数据库引擎进行开发。JSP将网页逻辑与网页设计和显示分离，支持可重用的基于组件的设计，使基于Web的应用程序的开发变得迅速和容易。MySQL作为一种快速的、多线程、多用户和健壮的数据库服务器，根据第三方测试结果，在千万级的数据环境中仍然保持较高的执行速度。因此在技术层面上是完全可行的。并且SQL是一个非过程化的语言，可用于所有用户的数据库活动模型，涉及系统管理员、数据库管理员、应用程序员、决策支持系统人员及许多其他类型的终端用户。基本的SQL命令只需要很少时间就能学会，最高级的命令在几天内便可掌握。MySQL功能强大，并且很多信息管理系统都是用MySQL作后台，对本系统的开发是可行的。本系统数据需考虑数据的高并发和后续数据的扩展性，数据库采用MySQL集群和缓存集群，以保障整体水文管理系统平稳运营。2. 经济可行性2023年8月，温家宝“感知中国”的发言把我国物联网领域的研究和应用开发推向了高潮，自温总理提出“感知中国”以来,物联网被正式列为国家五大新兴战略性产业之一，写入“政府工作报告”，物联网在中国受到了全社会极大的关注。作为新的经济增长点，物联网的经济效益正在逐年高速增长，2023年市场规模达成了2600多亿元，预计到2023年 市场规模将超过5万亿。1.3.4. 四大特点l 界面可视化配置通过感知层各种传感器将相应的数据实时传回系统平台，通过应用层对数据进行实时在线分析展示。对于传感器设备进行在线设立查看，对于设备告警类别自定义配置，及时掌握感知层设备情况和目的数据情况。l 及时的告警提醒告警分为：设备告警和数据预警。对于感知层设备工作状况要实时掌握，传感器设备情况实时查看故障告警，及时解决因传感器设备故障问题导致的数据阻塞；此外对于传感器传输传输回来的数据 进行记录分析和计算，实时查看数据走向，对即将呈现的数据状况进行预警提醒。l 集成报表引擎用户可以选择需要的数据，以饼状图、条形图、线状图等方式生成分析结果，输出的分析报告更加直观、生动。l 灵活性、扩展性平台具有迭代开发的设计，后期可方便的增减和修改所提供的组件、公式，可支持个性化定制服务。二. 解决方案2.1. 总体方案设计2.1.1. 系统框架结构系统整体框架结构感知层： 感知层位于物联网三层结构中的最底层，其功能为“感知”，即通过传感网络获取环境信息，是物联网的核心，是信息采集的关键部分。感知层设备涉及二维码标签和识读器、RFID标签和读写器、摄像头、GPS、传感器、M2M终端、传感器网关等，重要功能是辨认物体、采集信息。感知层的信息采集运用到多种关键技术：l 嵌入式系统技术：是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术，可以将感知层收到的信息进行分类解决，将解决之后信息再通过网络上传。l 低速和中高速段距离传输技术：介于感知和网络层之间的技术运用，将通过感知设备收集的数据进行集中解决分类，再传输的应用技术l 自组织网络技术：在物联网的关键技术中，射频辨认(RFID)是一种。物联网系统 感知层设备大多是分散的，且基本没有什么固定的网络基础设施。无线自组织网络技术中可以将每个终端自身兼有路由器和主机2种功能，自组织网络是一种自治、多跳网络，整个网络可以在不理能运用或者不便运用网络基础设施（如 基站、AP）的情况下，提供终端之间的互相通信。在该网络中，网络的拓扑、信道的环境、业务的模式是随节点的移动而动态改变的。自组织网络的多跳网络拓扑l 协同信息解决技术：对于传感器感知到的多种类型的信息进行收集并进行分类解决，介于网络层和感知层之间的技术，将解决之后的信息通过网络层进行传输。网络层：网络层位于物联网三层结构中的第二层，其功能为“传送”，即通过通信网络进行信息传输。网络层包含接入网和传输网，分别实现接入功能和传输功能。传输网由公网与专网组成，典型传输网络涉及电信网（固网、移动通信网）、广电网、互联网、电力通信网、专用网（数字集群）。接入网涉及光纤接入、无线接入、以太网接入、卫星接入等各类接入方式，实现底层的传感器网络、RFID网络最后一公里的接入。目前网络层用到的互联技术有：3G/4G通信网络、IPv6、Wi-Fi和WiMAX、蓝牙、ZigBee等等。应用层：应用层位于物联网三层结构中的最顶层，其功能为“解决”，即通过云计算平台进行信息解决。应用层与最低端的感知层一起，是物联网的显著特性和核心所在，应用层可以对感知层采集数据进行计算、解决和知识挖掘，从而实现对物理世界的实时控制、精确管理和科学决策。从结构上划分，物联网应用层涉及以下三个部分：A 物联网中间件：物联网中间件是一种独立的系统软件或服务程序，中间件将各种可以公用的能力进行统一封装，提供应物联网应用使用。B 物联网应用：物联网应用就是用户直接使用的各种应用，如智能操控、安防、电力抄表、远程医疗、智能农业等等。C 云计算平台：云计算可以助力物联网海量数据的存储和分析。通常介于网络层和应用层之间，对于感知层上传上来的海量数据，运用云平台进行存储分析，为应用层提供数据基础。2.1.2. 总体系统架构总体功能架构基础支撑层：重要涉及网络链路的联通性和重要节点设备，重要涉及路由器、互换机、防火墙等组成，同时结合相关配套专业软件保证整个网络层的安全和数据流的畅通。数据层：数据持久层和数据库自身，负责将数据进行转化和存储业务数据。系统文献的存储。基础层：涉及身份服务、认证服务、日记服务、记录服务、监控服务、配置服务、消息服务、存储服务、支撑服务和中间件服务的集成。应用功能层：系统应用层的功能模块。涉及用户管理、权限管理、数据监控等等表现层：使用Web浏览器、安卓APP或iOSAPP，通过计算机网络访问系统。根据用户权限不同，以及用户自己的个性化设立，展现不同的页面内容。标准规范体系 : 本系统制定并遵循统一的内容建设标准与规范体系，否则会给整个项目带来不可预测的风险，也不利于信息解决、整个平台的管理维护与信息共享应用。安全保障体系：纵向贯穿整个层面，从环境层到用户表现层都要进行不同方面的安全配置设立，保障系统安全运营。2.1.3. 系统组网图业务系统部分硬件部署如下：业务系统组网图 采集端采集端通过采集传感器 将所需信息采集之后通过专网接口传输。 应用服务器考虑性能，采用双服务器，用于HTTP协议的实现和数据库连接管理。 数据库服务器 采用Mysql集群形式，保障系统运营的高可用和数据扩展性 负载均衡服务器 当数据量和并发量非常大时 考虑服务器和系统的运营 设计单独的负载均衡服务器2.1.4. 物理组网图物理设备组网图2.1.5. 系统总体功能构架本系统重要由6个模块组成：登录模块、数据采集管理模块、在线监控管理模块、告警管理模块、记录分析、系统管理 模块组成。每个模块下都有此模块相应的功能页面。 系统总体构架2.2. 应用层功能需求具体设计2.2.1. 登陆l 功能概述 后台系统 内置超级管理员 admin，初次登陆只能用admin，登陆之后可在系统管理再新增其他后台管理员。l 界面 界面按钮简朴描述A、 输入管理员用户名和相应密码B、 点【登陆】进入系统C、 假如登陆密码忘掉 可点击“忘掉密码”通过手机短信等方式找回密码2.2.2. 采集设备管理l 功能概述 。l 界面界面按钮简朴描述A、 .B、 。（一） 设备设立l 功能概述 。l 界面界面按钮简朴描述A、 。B、 。C、 。D、 。（二） XXXX管理l 功能概述 。l 界面：简朴的界面描述A、 。B、 。C、 。（三） 设备巡检记录l 功能概述 。l 界面：界面简朴描述A、 。B、 。C、。（四） 设备状况查询l 功能概述 。l 界面 ：界面简朴描述A、 。B、。C、。2.2.3. 监控管理l 功能概述 。l 界面：界面简朴描述A、。B、。C、。（二）XXXX情况监控l 功能概述 。l 界面 ：界面简朴描述A、。B、。C、。2.2.4. 告警管理l 功能概述 。l 界面：界面简朴描述A、。B、。C、。2.2.5. 记录分析l 功能概述 。l 界面：界面简朴描述A、。B、。C、。2.2.6. 系统管理（一） 用户管理l 功能概述 。l 界面。（二）日记管理l 功能概述 记录所有平台系统的操作日记和系统日记，各个用户登陆情况和操作情况均记录具体；当数据库或者系统出现异常时 则记录为系统异常日记。l 界面：根据客户日期需求可定制化栏位列名2.3. 基础层功能设计基础层功能设计重要涉及提供 身份认证、日记管理、权限管理等共用性功能。2.3.1. 身份认证身份认证是判断一个用户是否为合法用户的解决过程。最常用的简朴身份认证方式是系统通过核对用户输入的用户名和密码，看其是否与系统中存储的该用户的用户名和密码一致，来判断用户身份是否对的。通过它可以辨认用户的登陆角色，以及防止同一个用户对同一份报表进行多次提交。本系统在登陆时采用上述的用户名和密码的认证方式。多次登陆失败或者忘掉密码时 需要通过手机验证，并且验证手机号与用户是否在后端系统是否相应合法，非法手机号不允许校验，校验成功获取验证码 再进行重置密码或者登陆。2.3.2. 账户管理账户管理是系统不可或缺的一部分。平台内置超级管理员，超级管理员可新增维护其他平台管理员，系统管理员可以管理用户的账号、正常还是暂停。2.3.3. 权限管理权限管理是根据系统设立的安全规则或者安全策略，用户可以访问并且只能访问自己被授权的资源。权限管理几乎出现在任何有用户和密码的系统里面。系统中权限管理分为功能权限和数据权限。l 功能权限：分派管理员用户可登陆系统只可查看操作自己有权限的功能模块。l 数据权限：除了功能权限外，对系统的数据进行登记划分，比如区域 或者按照设备分类，只有拥有相应数据权限的人才干看到相应的区域数据或者设备数据。2.3.4. 提醒机制在系统的开发过程中，经常要使用到新消息的提醒功能，比如数据库数据有更新或者某个用户的特殊操作，这时就要对用户进行及时的解决提醒。该功能最简朴的实现就是通过页面实时刷新，访问数据库然后告知用户有新的消息。本系统使用Ajax定期向服务器轮询实现Web页面新消息实时提醒。可通过公司内部的邮箱和短信平台进行邮件提醒和短信提醒。2.3.5. 日记管理日记管理功能在公司应用系统中起着非常重要的作用。系统的日记文献可以让管理员了解系统状态，在系统出现问题时管理员可以查阅日记文献来确认当前系统状态、观测用户者踪迹，寻找特定事件相关的数据操作。三. 关键性技术3.1. 系统技术架构方面的技术路线本系统设计 综合考虑系统的稳定和响应速度以及实时性等多方位功能和性能规定，采用Spring开源框架、 MVC框架技术、My Batis进行数据连接整个 并采用SSM对框架进行整合，具体建设如下：(1) 体系架构系统技术路线的选择，采用开放的、基于工业标准和行业发展趋势的原则，在体系架构上采用B/S模式。它可以提供灵活的信息交流和信息发布服务，具有更强的信息系统集成性和更好的系统安全性。（2）设计模式A、 Spring 是一个开源框架， Spring 是于 2023 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson 在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。它是为了解决公司应用开发的复杂性而创建的。 Spring 使用基本的 JavaBean 来完毕以前只也许由 EJB 完毕的事情。然而， Spring 的用途不仅限于服务器端的开发。从简朴性、可测试性和松耦合的角度而言，任何 Java 应用都可以从 Spring 中受益。 简朴来说， Spring 是一个轻量级的控制反转（ IoC ）和面向切面（ AOP ）的容器框架。B、SpringMVC：Spring MVC 属于 SpringFrameWork 的后续产品，已经融合在 Spring Web Flow 里面。 Spring MVC 分离了 控制器 、模型对象 、分派器以及解决程序对象的角色，这种分离让它们更容易进行定制。采用MVC设计模式，用户输入输出界面均为JSP页面，即展示层（View），用户的请求将会被发送到控制层（Controller）的一个Servlet集中解决，根据请求调用模型层（Model）的JavaBean对请求进行实际解决，并把结果返回给控制层，控制层根据请求的执行结果将响应派发到相应的JSP页面。如图 所示。MVC设计模式（3）数据库连接MyBatis 本是 apache 的一个开源项目 iBatis , 2023 年这个项目由 apache software foundation 迁移到了 google code ，并且改名为 MyBatis 。 MyBatis 是一个基于 Java 的 持久层 框架。 iBATIS 提供的 持久层 框架涉及 SQL Maps 和 Data Access Objects （ DAO ） MyBatis 消除了几乎所有的 JDBC 代码和参数的手工设立以及结果集的检索。 MyBatis 使用简朴的 XML 或注解用于配置和原始映射，将接口和 Java 的 POJOs （ Plain Old Java Objects ，普通的 Java 对象）映射成数据库中的记录。实现了从Java程序内调用标准的SQL命令对数据库进行查询、插入、删除和更新等操作，并保证数据事务的正常进行。3.2. Mysql集群部署使用MySql Cluster +Redis的架构实现信息的读写和存储A)、MySQL Cluster 是MySQL 官方集群部署方案，它的历史较久。支持通过自动分片支持读写扩展，通过实时备份冗余数据，是可用性最高的方案，声称可做到99.999%的可用性。架构原理图如下：MySQL cluster重要由三种类型的服务组成：NDB Management Server：管理服务器重要用于管理cluster中的其他类型节点（Data Node和SQL Node），通过它可以配置Node信息，启动和停止Node。 SQL Node：在MySQL Cluster中，一个SQL Node就是一个使用NDB引擎的mysql server进程，用于供外部应用提供集群数据的访问入口。Data Node：用于存储集群数据；系统会尽量将数据放在内存中。B）、MySQL Redis分布式缓存Redis是一个开源，先进的key-value存储，并用于构建高性能，可扩展的Web应用程序的完美解决方案。Redis从它的许多竞争继承来的三个重要特点：Redis数据库完全在内存中，使用磁盘仅用于持久性。相比许多键值数据存储，Redis拥有一套较为丰富的数据类型。Redis可以将数据复制到任意数量的从服务器。Redis优势涉及：Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。Redis支持最大多数开发人员已经知道像列表，集合，有序集合，散列数据类型，这使得它非常容易解决各种各样的问题，由于我们知道哪些问题是可以解决通过它的数据类型更好。所有Redis操作是原子的，这保证了假如两个客户端同时访问的Redis服务器将获得更新后的值。Redis是一个多实用的工具，可以在多个用例如缓存，消息，队列使用(Redis原生支持发布/订阅)，任何短暂的数据，应用程序，如Web应用程序会话，网页命中计数等。Redis不是比较成熟的Memcache或者Mysql的替代品，是对于大型互联网类应用在架构上很好的补充。现在有越来越多的应用也在纷纷基于Redis做架构的改造。C）、redis和mysql数据一致性保证。应用读取数据时，先从redis读取，假如redis中没有，则从mysql中读取。当mysql中读取届时，则将该数据保存到redis中，便于下次使用，在保存redis中数据时，设立数据的过期时间。当数据写入mysql数据库时，同时也将数据写入redis。保持redis数据与mysql同步3.3. Nginx负载均衡Nginx是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP服务器，具有稳定性、丰富的功能集、示例配置文献和低系统资源的消耗的特点。合用Nginx返现代理服务器实现负载均衡。Nginx具有以下特点：1、高并发连接，官方测试可以支撑5万并发连接，在实际生产环境中跑到23万并发连接数。 2、内存消耗少，在3万并发连接下，启动的10个Nginx 进程才消耗150M内存（15M*10=150M）。 3、配置文献非常简朴，风格跟程序同样通俗易懂。 4、成本低廉，Nginx为开源软件，可以免费使用。5、支持Rewrite重写规则，可以根据域名、URL的不同，将 HTTP 请求分到不同的后端服务器群组。 6、内置的健康检查功能，假如 Nginx Proxy 后端的某台 Web 服务器宕机了，不会影响前端访问。 7、节省带宽，支持 GZIP 压缩，可以添加浏览器本地缓存的 Header 头。 8、稳定性高，用于反向代理，宕机的概率微乎其微。3.4. 地图接口/工作流引擎集成/报表工具描述系统中功能核心部分集成的工具或报表引擎，并描述集成后的系统优势四. 性能配置4.1. 业务指标（1）数据采集： 同一时间，传感器上传单台服务器并发1000tps，服务器正常解决业务。 传感器数据上传异常时，系统告警应答时间小于30秒。 支持10万传感器数据，解决能力100条/秒。 历史信息存储12个月(时间可配)。（2）数据分析： 对以采集的数据进行记录分析时，数据在5000条，分析时间不大于10秒。 分析数据达成10万条时，服务器正常解决业务。4.2. 性能指标基于如上业务量，公用性能指标如下：（1）在非业务高峰期间，典型业务解决平均响应时间规定如下： 系统登录时间不大于5秒。 系统界面的一般性查询响应时间应小于3秒，大量数据查询响应时间应小于6秒。如存在特殊耗时操作，需具体说明。（2）在非业务高峰期间，除上述典型业务外，应用系统平均响应时间规定如下： 应用系统内在线事务解决的响应时间不大于 5 秒。 跨系统在线事务解决的响应时间不大于 8 秒。 应用系统内查询的响应时间不大于 6 秒。 应用系统内记录的响应时间不大于15秒。（3）在业务高峰期间，应用系统平均响应时间规定不超过非业务高峰期间平均响应时间的 1.5 倍。（4）应用系统并发数设计应当支持30%的冗余，保证系统在业务高峰期间稳定运营。（5）所有数据在线保存3年时间，且备份数据永久保存。五. 软硬件配置清单5.1. 软件方案本期涉及到的具体功能模块开发：产品名称功能界面功能明细XXX管理系统xx设立。XX设立。XXX管理。XXXX记录。XXXX状况查询。XXX数据管理。XXX监控。XX告警设立。XX告警查询 。记录分析。权限管理设立用户和用户权限，对用户权限设立可分系统功能模块和水域划分。系统用户只能看属于自己权限范围内的功能界面，和查看自己权限范围内的水域日记管理记录所有平台系统的操作日记和系统日记，各个用户登陆情况和操作情况均记录具体；当数据库或者系统出现异常时 则记录为系统异常日记5.2. 硬件方案考虑系统运营性能稳定和并发数的多并发实现，初步建议服务器如下，具体配置规定根据项目实际用户量和成本预算再进行沟通拟定：序号设备名称运营软件设备数量1应用服务器XXXXX系统22数据库服务器MySql Cluster +Redis 集群33负载均衡1六. 项目资金预估暂无七. 项目实际计划待补充