2022年智慧企业IT大数据平台建设方案2完整版.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,2,0,1,9,智慧企业,IT,大数据平台,建设方案,Contents,目,录,1.智慧企业IT大数据平台介绍,2.智慧企业IT大数据平台部署,3.智慧企业IT大数据平台使用,3.智慧企业IT大数据平台运维,Part 1,智慧企业IT大数据平台介绍,日志处理的历史背景,日志没有被集中统一管理,查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看,日志主要用于事后问题追查,日志经常在安全事件发生后被关注,没有对日志实时监控、分析,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,日志未被完整保留,日志被定期清理，节省磁盘空间,黑客入侵后抹去入侵记录日志,日志导入关系型数据库,传统数据库无法适应TB级以上日志,关系型数据库无法适应半结构化和非结构化日志信息,不提供全文检索,日志的价值,数据类型,位置,它可以告诉您什么,应用日志,本地日志文件、WebSphere、JBosslog4j、.NETlog4net、PHP、Weblogic、,业务流程管理日志,Web服务器、路由器、代理服务器和广告服务器,系统配置文件,数据库日志文件、审计表,用户活动、欺诈检测、应用性能,业务流程日志,点击流数据,配置文件,数据库审计日志,文件系统审计日志,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,敏感数据存储在共享文件系统中监测并审计敏感数据读取权限,操作系统度量、状,态和诊断命令,跨渠道客户活动、购买、帐户变更以及问题报表,可用性分析、数字市场营销和一般调查,如何设置基础设施、调试故障、后门攻击、定时炸弹病毒,如何根据时间修改数据库数据以及如何确定修改人,与通过命令行实用程序（例如iostat以及Windows上的性能监视器）显示的Unix和Linux上的ps,CPU、内存利用率和状态信息,tcpdump其他有用的数据包级和会话级信息和tcpflow可生成pcap或流量数据以及,路由器、交换机和网络设备上的Syslog,故障排除、分析趋势以发现潜在问题并调查安全事件,数据包/流量数据,性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击,故障排除、分析、安全审计,Syslog,Web访问日志,Web访问日志会报告Web服务器处理的每个请求,Web市场营销分析报表,Web代理日志,Web代理记录用户通过代理发出的每个Web请求,监测并调查服务条款以及数据泄露事件,产品特点,全网日志统一管理,问题溯源,与大数据集成,定制化开发,支持任何来源、格式日,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,智能运维，智能告警,整合大数据存储、计,强大的数据处理和方,便的扩展能力，以应,用、插件的方式集成。,志，例如,TCP、UDP、,数据库审计、文件等方,式。通过采集、结构化、,分类、归并、分析日志,数据。,，及时发现问题、定,位、原始数据取证，,并自动与用户、资产,信息关联,算、搜索能力，对海,量数据进行实时分析、,挖掘。,简介,使用,IT,大数据系统,进行日志数据的集中存储、管理和分析,Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志,的多副本安全存储和实时快捷的分析计算能力。,Lion,具有友好的用户界面，方便用户通过,web界面中的可视化数据进行日常运维和问题快速定位。,Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,功能介绍,数据导入,数据可视化,支持日志文件上传、文件和目录监控、服务器端口监听、,服务器性能监控等数据导入方式的界面化操作和进度查看。,通过数据的查询、过滤、聚合结果生成多种可视,化图表，支持动态实时更新。,数据搜索,更多功能,数据搜索结果支持时间轴筛选、自定义过滤条件、字段,结果分类统计。,告警功能、主机管理、用户权限控制等。,多种应用,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,分析结果,服务程序,虚拟化,设备,日志数据,IT,大数据,系统,服务器,路由交换,框架,Lion UI,具备友好交互的,Web应用，进行数,据管理和可视化的界面配置和展示,Lion UI,全文检索,数据可视化,数据管理,告警,Lion Service基于RPC的分布式服务设计，,能快速处理复杂数据和业务,Lion Service,计算挖掘,运维管理,任务调度,API,ElasticSearch,基于Lucene的搜索引擎，分,布式架构，具有集群，分片，副本等属性,数据存储,Elasticsearch,PostgreSQL,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,Logstash日志接收、富化、转发的引擎。,Spark,支持系统日志、webserver日志、应用日志,等,Beats日志采集器，搜集文件、Windows事,件、网络流量、性能指标信息,数据采集,Beats,Logstash,Stream,Kafka,Part 2,智慧企业IT大数据平台部署,软件环境,名称,版本要求,操作系统,CentOS 6.5/7,Redhat6.5/7,Ubuntu 14.04、15.10、16.04,chrome37+,浏览器,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,Firefox25+,IE,JDK,10+,Lion安装包内部,1.7.0_79,集成环境,Python 2.7.9,部署方案,控制台输入部署,控制台提示，支持默认模式和自定义模式,运行,Lion,安装包,控制台输入配置信息,Lion,集群部署,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,读取配置文件部署,一键部署，简单快捷,配置,Lion,配置文件,执行,Lion,安装命令,Lion,集群部署,安装前准备,集群主机检测网络,安装包准备,安装包命名规则为lion-.bin。发送安装包到Lion集群主节点。,集群主机时间校对,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,集群主机信息获取,获取集群主机IP、ssh端口(默认22)、root密码的信息。,集群主机名检测,合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP,一一对,应。,Lion,安装,控制台输入方式部署,Lion,过程,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,Part 3,智慧企业IT大数据平台使用,功能点,主页,数据可视化大屏展示,主机列表,主机管理,全文搜索和精确过滤,添加服务器和探针,数据搜索,结果导出、搜索条件另存为告警,告警任务创建、编辑、启动、停止,告警管理,可视化图表,多种可视化图表新建、保存、分享,告警信息查询,数据可视化,可视化图表自由组合成仪表盘,数据索引管理,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,仪表盘数据管理,定时刷新，图表联动和下钻,保存的对象管理,文件上传,远程文件和目录监控、端口监听,用户和角色管理,数据监控,访问控制,数据导入,数据库、系统性能、系统事件监控,数据权限管理,数据事件,数据导入事件状态查询、启动、停止,系统参数设置,系统管理,解析规则,数据解析规则查看和配置,后台任务管理,主页,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,/usr/local/lion/lion_start.,完成攻击源TOP5统计,数据库日志文件、审计表,完成攻击源TOP5统计,Supervisor启动各服务日志,传统数据库无法适应TB级以上日志,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,智慧企业IT大数据平台介绍,完成攻击源TOP5统计,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据导入,数据采集,数据解析,数据存储,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据搜索,数据可视化,文件上传,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据监控场景,如何监控远程文件和目录,如何接收转发的日志,(TCP/UDP/SNMP),如何监控用户上网行为,(HTTP/DNS),智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,如何监听邮件服务,(POP3/IMAP),如何监控数据库操作,如何监控服务器性能,如何监控Windows日志,数据监控,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,采集流程,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据事件,数据导入事件状态查询,数据导入事件启动、停止、查看日志,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,解析规则,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,数据搜索,具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式,(format)，更,可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像Google,一样的直观易用。,键入关键词后任意搜寻,即时的在线查询自定义,过滤条件,自定义字段显示,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,搜索结果导出,搜索另存为告警,时间选择器,使用时间范围挑选器指定检索,事件的时间段。时间范围挑选,器提供了许多可供选择的预设,时间范围，但您也可以输入自,定义时间范围围挑选器指定检索,事件的时间段。,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,相对时间选择：选择相对现在的时间范围,自动刷新：选择刷新频率,数据可视化,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,新建可视化图表,支持多种可视化图表绘制,通过数据的查询、过滤、,聚合结果生成图表,实时的可视化分析,报表钻取,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,编辑可视化,1.,度量,2.,聚合,3.,多维,4.,拆分表,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,5.,选项,6.,钻取,编辑可视化饼图,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,1.将数据以,字段,srcAddress（攻击源地址）,不同的值作为不同,条目,进行分组,2.提取每个分组中的数据的,统计数量,，进行,倒序,排序，提取数,量最大的,前,5个,srcAddress值,3.完成,攻击源,TOP5,统计,日志导入关系型数据库,修改个人属性智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2.,化图表，支持动态实时更新。,键入关键词后任意搜寻,定时刷新，图表联动和下钻,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2.,能快速处理复杂数据和业务,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,查看Web客户端服务运行状态,没有对日志实时监控、分析,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,X轴为时间维度，使用时间序列聚合方法，将数据以时间,传统数据库无法适应TB级以上日志,Lion Service基于RPC的分布式服务设计，,编辑可视化折线图,1.X,轴,为时间维度，使用,时间序列,聚合方法，将数据以时间,LogTime（攻击日志时间戳）,每,分钟,汇总一次,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,2.Y,轴,为攻击次数，使用每分钟内数据的,统计数量,3.完成,攻击次数变化趋势,新建仪表盘,自定义图表排列,实时数据更新,图表间数据动态关联,可增加时间段和其它,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,过滤条件,保存和导出仪表盘,保存仪表盘,将仪表盘导出PDF,保存仪表盘时间范围,共享仪表盘给其他用,户,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,主机管理,主机类型,服务器,探针,主机,Windows,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,Ubuntu,CentsOS/,Redhat,告警管理,能够定期执行，并依,据搜寻结果发出各项,警示通知，可通过,email等方式通知用户。,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,访问控制,-,用户和角色管理,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,角色是权限集,用户继承角色的权限,访问控制,-,数据权限,功能权限,数据权限,索引权限,对象权限,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,可视化报表,仪表盘,搜索条件,个人设置,更换主题,数据权限,设置主页,修改密码,修改个人属性,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,帮助页面,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,审计日志,记录用户在IT大数据平台上的操作，用于审计用户行为，及时发现违规操作。,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,审计日志可视化,TOP5访问用户,检查恶意登陆,热点访问地区,热门功能统计,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,Part 4,智慧企业IT大数据平台运维,查看,Lion,各服务运行状态,查看后台各服务运行状态,控制台输入命令：supervisorctlstatus,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,查看Web客户端服务运行状态,控制台输入命令：pm2 list,查看,Lion,日志文件,各服务安装日志,/usr/local/lion/lion_install.log；,Supervisor启动各服务日志,/usr/local/lion/lion_start.log；,Web客户端运行日志,控制台输入命令：,智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案,pm2 logs,后台各服务运行日志,控制台输入命令：supervisorctltailf,2,0,1,9,谢谢你的观看,