《大数据系统运维》课件 第2章 系统管理及日常巡检.pdf

大数据系统运维大数据应用人才培养系列教材第二章 系统管理及日志巡检2.1系统建设212系统管理对象2.3系统管理内2A系统管理工具J.5系统管理制度规范工6日常巡检 习题2.1系统建设第二章系统管理及日志巡检技术方案大数据系统应该具有以下4个特点：弹性容量大；高性能；集成化；自动化。常规的大数据系统架构图2.1系统建设第二章系统管理及日志巡检技术方案目前，大数据系统主要的应用场景和典型的大数据系统技术方案有以下三种：静态数据的批量处理：Hadoop人流式数据的实时处理：Storm交互式数据：Spark2.1系统建设第二章系统管理及日志巡检部署实施针对不同的源数据和业务需求，需要部署不同的技术框架。而Hadoop是其中最受欢迎、最成熟、应用最广的大数据系统架构,其他的大数据架构很多都是基于Hadoop进行扩 展和优化，因此本节主要介绍Hadoop架构的部署实施。2.1系统建设第二章系统管理及日志巡检测试验收容错性测试稳定性测试大数据应用人才培养系列教材第二章 系统管理及日志巡检2.1 系统建设2.2 系统管理对象2.3 系统管理内2A系统管理工具J.5系统管理制度规范工6日常巡检 习题2.2系统管理对象第二章系统管理及日志巡检系统管理对象系统数据应用层利用编程模型提供的接口实现各 种功能，包括查询、统计、分析、数据的聚类和分类等。舍 系统软件实施层系统硬件基础层将多种工具封装并在硬件资源池 中运行，包括数据集成、数据管 理、数据模型编程等工具。由各种硬件资源构成，也可以利 用虚拟化技术辅助组织构建。2.2系统管理对象第二章系统管理及日志巡检分布式的架构搭建大数据分析系统的部署过程分一下几部分：底层操作系统系统架构数据分析算法及工具 I结果可视化及输出API2.2系统管理对象第二章系统管理及日志巡检系统硬件,服务器环境数据采集服务器、数据清洗转换服务器、分布式存储服务器、并行分 析服务器、数据管理服务器和数据运营服务器。的存储环境数据存数主要包含结构化数据存储，半结构化数据存储，非结构化数 据存储。备份环境选择合适备份方式，适当备份存储空间，对大数据平台的数据进行备 份，备份存储可以考虑使用第三方数据服务机构的异地备份服务。网络环境如果相关数据信息是经由互联网采集，则必须选择满足互联网基本采 集要求的，并适合该大数据系统的Internet网络类型。2.2系统管理对象第二章系统管理及日志巡检系统数据原始系预处理 M存储 备份数据 数据2.2系统管理对象第二章系统管理及日志巡检IT供应商数据提供商架构和平台 提供商大数据咨询 公司分析运营商可视化供应商大数据应用人才培养系列教材第二章 系统管理及日志巡检2.1 系统建设2.2 系统管理对象2.3 系统管理内容2A系统管理工具J.5系统管理制度规范工6日常巡检 习题2.3系统管理内容第二章系统管理及日志巡检事件管理在IT服务管理中事件管理是重要流程之一，事件解决的时效性决定系统管理服务的 质量。事件管理是指及时处理中断的IT服务并快速恢复IT服务能力。事件的来源来 自于IT报告、监控系统自动转发等。事件管理流程的目的是为了降低IT故障对企业业务的影响，达到提升业务稳定性的 作用。具体操作是，按照事件的优先级，多渠道及时响应服务请求，快速有序地解 决，从而减少IT服务中断造成的影响。2.3系统管理内容第二章系统管理及日志巡检问题管理问题管理通过标准化的方法管理已发生的IT的技术问题，其目的是为了帮助企业提 iWj工作效率。问题管理流程的主要阶段为：问题的识别和提交、调查和诊断、实施解决以及回顾 关闭。作为一个旨在提高效率的管理流程，问题管理流程的目的是要找到管账的根本原因，设计并实施解决方案，提高系统稳定性。2.3系统管理内容第二章系统管理及日志巡检配置管理配置管理是对IT资源进行管理的重要步骤之一，也是大数据运维重要依据。配置管 理是n管理的关键，也是事件管理、问题管理等流程审查原因所在，具体数据来自 配置管理数据库。配置管理录入并管理IT基础设施的配置信息，是IT服务准确的信息来源。由配置流 程经理组织制定或修订配置管理相关定义与策略，包括：配置管理的范围、结构规 戈人审核策略等，并接受部门负责人的审阅确认。2.3系统管理内容第二章系统管理及日志巡检变更管理变更管理的目的是有效的审批和控制IT设施变更，及时降低业务故障率，保证业务 尽快、正常、有序地运行，从而减少故障对用户的影响，以提升服务质量。变更管理在于规范和控制变更流程：在保证管控的前提下发起评估、批准、实施、回顾变更，运用正确的方法处理变更，在可控范围内压缩变更产生的负面效应，目 保证在规定范围之内实施变更管理流程。确保完整记录所有变革及对应措施，确保跟踪变更直到实施完成，通过对变更进行 风险评估，保证变更能够更好地满足业务的需求。2.3系统管理内容第二章系统管理及日志巡检发布管理发布管理是变更流程的其中一种，主要为了在尽可能不影响系统正常服务运行的情 况下对IT环境实施可控的变更。发布管理的主要步骤包括：发布前的规划准备、申 请与审批发布、同步灾备系统、试点运行、评估发布流程。发布管理流程的目的是通过规范的操作流程，确保在生产环境中系统能够平稳地执 行变更操作，并降低一切风险，保证业务正常运行。发布管理的流程包括：明确参 与发布管理的人员职责，系统发布过程和具体实施步骤，确保系统发布后能够持续 安全运行。2.3系统管理内容第二章系统管理及日志巡检知识管理知识管理流程是IT运维人员获取各种来源的知识，结合存量技术，实现知识的生产、分享、使用和创新的过程。知识管理的目的在于通过对知识库的有效管理，协助企业和个人创造价值。具体通 过收集、梳理、归纳、撰写等手段对本系统运维知识进行整理，形成文档、视频,录入知识库,并选取正确、科学的维度录入知识库，形成系列课件指导新人通过知 识库进行学习。2.3系统管理内容第二章系统管理及日志巡检日志管理日志管理对系统运行至关重要，日志管理的质量直接关系到定位系统问题的速度和 效率。日志管理的重点是把不同需求的日志进行分类，方便问题分析和问题处理，而对于 每一种需求，存在特定的记录格式和内容。日志管理最终是为了分析日志，常见的日志管理系统包括Web服务器日志和Linux 日志。通过自动解析标准格式日志的日志分析系统，用户能够快速高效的解析日志 文件，节省运维人员的工作时间和精力，提高处理系统问题的效率。2.3系统管理内容第二章系统管理及日志巡检备份管理因为数据传输、数据存储和数据交换过程中，任何系统都有失效或故障的风险，因 此有必要进行备份管理，从备份系统中还原数据，最大程度地降低损失。从信息安 全的角度出发，备份管理也避免了人为恶意破坏等带来的损失。数据备份是保护数 据的一道防线，十分必要。备份管理的根本目的是数据恢复，即能够快速、正确、全面地恢复数据。除此之外,备份的意义不仅在于防范意外事件的破坏，还有保存归档历史数据的功能。大数据应用人才培养系列教材第二章 系统管理及日志巡检2：1系统建2二2系统管理对象2.3 系统管理内容2.4 系统管理工具J.5系统管理制度规范工6日常巡检 习题2.4系统管理工具第二章系统管理及日志巡检资产管理资产管理：资产管理是指对系统的资产进行管理，提高资产利用率。对大数据系统 而言，资产主要包括：软件资产、硬件资产、云资产三种。其中，硬件资产包含服 务器、存储设备、网络设备等；软件资产包含系统软件、服务许可证等；云资产包 括云服务器、云数据库等。资产管理工具：资产管理工具主要对资产采购、使用、维护、报废的整个周期进行 有效的管理和保护。使用资产管理工具主要为了帮助企业管控，降低成本、提高资 产利用率。主流的资产管理工具有CMDBuild和MAXIMO。2.4系统管理工具第二章系统管理及日志巡检监控管理监控管理：监控管理通过把管理和技术结合，监视基础设施和IT基础结构，即时发 现并通知故障与异常。止矽卜，监控数据的搜集与整理是实现事件管理、问题管理等,以便实现大数据系统高可用性的终极目标。监控管理工具：监控管理工具需要结合人工判断，综合监控大数据系统的应用情况 针对故障发起事件和问题，并保证系统正常运行。目前，主流的监控管理工具有 Zabbix 和 Tivoli。2.4系统管理工具第二章系统管理及日志巡检流程管理主流的流程管理工具有OTRS和SeviceDesk Plus。2.4系统管理工具第二章系统管理及日志巡检外包管理外包管理：外包管理是指企业针对外包人员统一进行管理，要求外包人员遵守相关 规定，加强人员出勤及业绩考核等。外包管理工具：外包管理能有效的约束外包人员的工作行为，同时加强企业运维的 管控，提升运维人员各司其职、协调配合的能力。外包管理工具内容相对简单，主 要包括考勤管理等，一般都是与现有系统的人力资源管理模块相结合。大数据应用人才培养系列教材第二章 系统管理及日志巡检2：1系统建设2二2系统管理对象2.3 系统管理内2.4 系统管理工具2.5 系统管理制度规范2.6 日常巡检 习题2.5系统管理制度规范第二章系统管理及日志巡检系统管理标准 在IT服务领域内，0 20000标准应用最为广泛,国家间认可度高。IT系统管理主要包括4个方面：职责管理；IT服务管理的计划与实施；变更或 新增IT服务目录的计划与实施；服务管理流程。大数据系统管理主要关注的是质量管理，从系统的规划、实施、监控、验收等阶段 进行质量管控，保证系统服务的质量。同时，在这一过程中，保持与系统最终用户 的持续沟通，确保业务需求得到满足。2.5系统管理制度规范第二章系统管理及日志巡检系统管理制度分类规划实施运营评价业务制定IT服务战略；管理系统投资成本/预算；符合内外部标准政策。需求管理；优先级排序。服务水平管理；能力管理；业务连续性管理。系统投资回报率；系统运维绩效。确定系统体系结构；系统 确定技术方向；管理项目组合。IT项目内部治理;IT项目外部治理。事件、问题管理;发布、变更管理；配置库管理；运营监控管理。系统实施评级；设定改进目标；制定改进措施。安全确定企业系统安全策略；制定企业系统安全标准；制定系统安全管理范围。定义系统安全控制目标；系统安全风险评估；制定安全风险措施。系统安全运营维护；系统安全风险控制。系统安全风险评价；安全改进措施评价。内控系统内部控制规划；系统审计规划。系统实施控制；内立已六制禾E土幺圭内港 服务水平评估与监控；系统实施审计。内部狂制和持一头改进。评估内控措施有效性。2.5系统管理制度规范第二章系统管理及日志巡检系统管理规范ITIL提供了服务管理最佳实践指南，为高品质IT服务的交付和支持提供一套客观、严谨、可量化的综合流程规范，是系统管理的最佳规范。大数据应用人才培养系列教材第二章 系统管理及日志巡检211系统建设212系统管理对象2.3 系统管理内2A系统管理工具2.5 系统管理制度规范2.6 日常巡检习题 2.6日常巡检第二章系统管理及日志巡检检查内容分类：环境和设备检查；应用系统检查。巡检方法分类:巡检；点检；厂商巡检。巡检流程：巡检规划；巡检实施；巡检记录处理。大数据应用人才培养系列教材第二章 系统管理及日志巡检211系统建设212系统管理对象2.3系统管理内2A系统管理工具J.5系统管理制度规范2.6日常巡检习题习题:L简述大数据系统主要的三种应用场景和对应的大数据系统技术方案。2.简述安装部署HDP的主要步骤。3,列举出几个具有代表性的大数据系统软件，并简要说明其作用。4.简述事件管理的流程目标。5.简述问题管理的流程。6,为什么说IT运维管理的基础是配置管理？7.为什么要做好变更管理？8你认为日志管理最大的作用是什么？9.如果做好了安全防护措施，大数据系统还需不需要备份管理？10.简述主流的监控管理工具，并探讨如何更好地利用这些工具？11.流程管理的意义是什么？12.在大数据系统管理中遵循ITIL规范有什么好处？感谢聆听