大数据课程体系.docx_咨信网zixin.com.cn

资源描述

大数据课程体系 6 2020年4月19日文档仅供参考，不当之处，请联系改正。 Java基础 JAVA 开发基础知识 Eclipse 开发环境多线程技术 Socket 网络技术 Regular Expression Java反射技术各种实战设计模式面向对象设计原则详解 Java collection Reflection JVM原理与配置、调优 Java设计模式 Linux大纲 Linux的介绍与安装 VMware Workstation虚拟软件安装ubuntu安装 Linux的常见命令 Linux系统进程管理常见命令ps、pkill、top、htop等的使用； Linux启动流程，运行级别详解，chkconfig详解 nano编辑器 Linux权限管理：用户、组 Linux权限管理：文件权限rwx Linux网络管理：hosts,hostname,ifconfig 安装JDK Hadoop Hadoop介绍，发展史，国内外现状，未来 Hadoop 核心组成介绍及hdfs、mapreduce 体系结构 Hadoop 的集群结构 Hadoop 独立模式安装与测试 Hadoop 启动与停止 SSH安装与配置 Hadoop 伪分布式和完全分布式安装配置 HDFS底层工作原理 HDFS datanode,namenode详解 Hdfs shell Hdfs java api InputSplit和OutputSplit BlockSize配置最少副本数配置 MR作业流程分析编写Mapper程序编写Reducer程序执行Mapreduce过程 Hadoop 核心类讲解,RM,NM,NN,DN YARN调度框架事件分发机制 Hadoop底层IPC原理和RPC Hadoop的底层google ProtoBuf的协议分析分布式数据库 Hbase HBase简介与RDBMS的对比系统架构 HBase上的MapReduce Hbase核心术语介绍 Hbase基本操作 HBase Shell以及演示 Hbase 树形表设计 Hbase 一对多和多对多表设计 Hbase 调优(读、写、设计) 数据仓库Hive Hive简介 Hive集群客户端简介 HiveQL介绍与SQL的比较数据类型外部表和分区表 ddl与CLI客户端演示 dml与CLI客户端演示 select与CLI客户端演示 Operators 和 functions与CLI客户端演示 Hive server2 与jdbc 用户自定义函数（UDF 和 UDAF）的开发与演示 Hive 优化数据迁移工具Sqoop Sqoop简介和配置 Sqoop shell常见命令 Sqoop导入与导出 Flume分布式日志框架 flume简介-基础知识 flume安装与测试 flume部署方式 flume source相关配置及测试 flume sink相关配置及测试 flume selector 相关配置与案例分析 flume Sink Processors相关配置和案例分析 flume Interceptors相关配置和案例分析 flume AVRO Client开发 flume 和kafka 的整合 Zookeeper 开发 Zookeeper java api开发 Zookeeper rmi高可用分布式集群开发 Zookeeper redis高可用监控实现 Netty 异步io通信框架 Zookeeper实现netty分布式架构的高可用 kafka kafka是什么 kafka体系结构 kafka配置详解 kafka的安装 kafka的存储策略 kafka分区特点 kafka的发布与订阅 zookeeper协调管理 java编程操作kafka scala编程操作kafka flume 和kafka 的整合 Kafka 和storm 的整合 Storm Storm的基本概念 Storm的应用场景 Storm和Hadoop的对比 Storm集群的安装的linux环境准备 zookeeper集群搭建 Storm集群搭建 Storm配置文件配置项讲解集群搭建常见问题解决 Storm常见组件和编程API：Topology、 Spout、Bolt Storm分组策略(stream groupings) 使用Strom开发一个WordCount例子 Storm程序本地模式debug、Storm程序远程debug Storm事物处理 Storm消息可靠性及容错原理 Storm结合消息队列Kafka：消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API Storm Trident概念 Trident state 原理 Trident开发实例 Storm DRPC(分布式远程调用)介绍 Storm DRPC实战讲解 Storm和Hadoop 2.x的整合：Storm on Yarn Storm开发实战： Kafka+Storm+Hbase+redis项目实战，以及多个案例 Scala scala解释器、变量、常见数据类型等 scala的条件表示式、输入输出、循环等控制结构 scala的函数、默认参数、变长参数等 scala的数组、变长数组、多维数组等 scala的映射、元组等操作 scala的类，包括bean属性、辅助构造器、主构造器等 scala的对象、单例对象、伴生对象、扩展类、apply方法等 scala的包、引入、继承等概念 scala的特质 scala的操作符 scala的高阶函数 scala的集合 scala数据库连接 Spark 大数据处理 Spark简介与应用场景 RDD Transformation Action Spark计算PageRank Lineage Spark模型简介 Spark缓存策略和容错处理宽依赖与窄依赖 Spark配置讲解 Spark集群搭建集群搭建常见问题解决 Spark原理核心组件和常见RDD 数据本地性任务调度 DAGScheduler TaskScheduler Spark源码解读性能调优 Spark和Hadoop2.x整合：Spark on Yarn原理 Spark Streaming 实时计算 Spark Streaming：数据源和DStream 无状态transformation与有状态transformation Streaming Window的操作 sparksql 编程实战 spark的多语言操作 Spark MLlib 机器学习介绍回归算法分类算法第四章推荐系统第五章聚类 Kmeans Docker 基本介绍 vm docker 对比 docker基本架构介绍 unfs cgroup namespace 进程虚拟化轻量级虚拟化 docker 安装 docker 镜像制作 docker 常见命令 docker 镜像迁移 docker pipework 1docker weave 虚拟化KVM 虚拟化介绍，虚拟化适用场景等等 Qemu Libvirt & KVM 安装KVM, Qemu, Libvirt QEMU-KVM: 安装第一个能上网的虚拟机 Kvm虚拟机 nat,网桥基本原理 kvm虚拟机克隆 kvm虚拟机vnc配置 kvm虚拟机扩展磁盘空间 Kvm快照 Kvm 迁移 Java,python,c语言编程控制kvm 云平台OpenStack openstack介绍和模块基本原理分析 openstack多节点安装部署【a.采用centos6.x系统】 Keystone基本原理 glance Cinder Swift Neutron Openstack api 二次开发综合项目演练1 结合基于SSH技术的jee项目—互联网大数据调查系统，可针对当下流行的事件进行网络调查，然后从海量的调查调查问卷中经过大数据手段对其进行分析和汇总，最终对大众的消费习惯、文化倾向、未知领域的认知以及新事物趋势做数据上的可靠性分析，掌握大众的心理导向，有效指定企业的战略规划和部署。综合项目演练2 结合国内某知名网站账户的泄露信息，运用大数据技术对所有账户的密码部分进行分析，从而判断国人在密码设置上的缺陷和漏洞，进而计算我们自己所设密码被成功破解的概率，最终经过改变个人的密码设置习惯有效保护个人的账户和财产安全。

展开阅读全文