大数据课程综合体系.docx

Java基础JAVA 开发基础知识Eclipse 开发环境多线程技术 Socket 网络技术 Regular Expression Java反射技术多种实战设计模式面向对象设计标准详解Java collectionReflectionJVM原理和配置、调优Java设计模式 Linux纲领Linux介绍和安装VMware Workstation虚拟软件安装ubuntu安装Linux常见命令Linux系统进程管理常见命令ps、pkill、top、htop等使用；Linux开启步骤，运行等级详解，chkconfig详解nano编辑器Linux权限管理：用户、组Linux权限管理：文件权限rwxLinux网络管理：hosts,hostname,ifconfig安装JDK HadoopHadoop介绍，发展史，中国外现实状况，未来Hadoop 关键组成介绍及hdfs、mapreduce 体系结构Hadoop 集群结构Hadoop 独立模式安装和测试Hadoop 开启和停止SSH安装和配置Hadoop 伪分布式和完全分布式安装配置HDFS底层工作原理HDFS datanode,namenode详解Hdfs shellHdfs java apiInputSplit和OutputSplitBlockSize配置最少副本数配置MR作业步骤分析编写Mapper程序编写Reducer程序实施Mapreduce过程Hadoop 关键类讲解,RM,NM,NN,DNYARN调度框架事件分发机制Hadoop底层IPC原理和RPCHadoop底层谷歌 ProtoBuf协议分析分布式数据库HbaseHBase介绍和RDBMS对比系统架构HBase上MapReduceHbase关键术语介绍Hbase基础操作HBase Shell和演示Hbase 树形表设计Hbase 一对多 和 多对多 表设计Hbase 调优(读、写、设计)数据仓库HiveHive介绍Hive集群用户端介绍HiveQL介绍和SQL比较数据类型外部表和分区表ddl和CLI用户端演示dml和CLI用户端演示select和CLI用户端演示Operators 和 functions和CLI用户端演示Hive server2 和jdbc用户自定义函数（UDF 和 UDAF）开发和演示Hive 优化数据迁移工具SqoopSqoop介绍和配置Sqoop shell常见命令Sqoop导入和导出Flume分布式日志框架flume介绍-基础知识flume安装和测试flume布署方法flume source相关配置及测试flume sink相关配置及测试flume selector 相关配置和案例分析flume Sink Processors相关配置和案例分析flume Interceptors相关配置和案例分析flume AVRO Client开发flume 和kafka 整合Zookeeper开发Zookeeper java api开发Zookeeper rmi高可用分布式集群开发Zookeeper redis高可用监控实现Netty 异步io通信框架Zookeeper实现netty分布式架构高可用kafkakafka是什么kafka体系结构kafka配置详解kafka安装kafka存放策略kafka分区特点kafka公布和订阅zookeeper协调管理java编程操作kafkascala编程操作kafkaflume 和kafka 整合Kafka 和storm 整合StormStorm基础概念Storm应用场景Storm和Hadoop对比Storm集群安装linux环境准备zookeeper集群搭建Storm集群搭建Storm配置文件配置项讲解集群搭建常见问题处理Storm常见组件和编程API：Topology、 Spout、BoltStorm分组策略(stream groupings)使用Strom开发一个WordCount例子Storm程序当地模式debug、Storm程序远程debugStorm事物处理Storm消息可靠性及容错原理Storm结合消息队列Kafka：消息队列基础概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程APIStorm Trident概念Trident state 原理Trident开发实例Storm DRPC(分布式远程调用)介绍Storm DRPC实战讲解Storm和Hadoop 2.x整合：Storm on YarnStorm开发实战： Kafka+Storm+Hbase+redis项目实战，和多个案例Scalascala解释器、变量、常见数据类型等scala条件表示式、输入输出、循环等控制结构scala函数、默认参数、变长参数等scala数组、变长数组、多维数组等scala映射、元组等操作scala类，包含bean属性、辅助结构器、主结构器等scala对象、单例对象、伴生对象、扩展类、apply方法等scala包、引入、继承等概念scala特质scala操作符scala高阶函数scala集合scala数据库连接Spark大数据处理Spark介绍和应用场景RDDTransformationActionSpark计算PageRankLineageSpark模型介绍Spark缓存策略和容错处理宽依靠和窄依靠Spark配置讲解Spark集群搭建集群搭建常见问题处理Spark原理关键组件和常见RDD数据当地性任务调度DAGSchedulerTaskSchedulerSpark源码解读性能调优Spark和Hadoop2.x整合：Spark on Yarn原理Spark Streaming实时计算Spark Streaming：数据源和DStream无状态transformation和有状态transformationStreaming Window操作sparksql 编程实战spark多语言操作Spark MLlib机器学习介绍 回归算法 分类算法第四章 推荐系统第五章 聚类 KmeansDocker 基础介绍vm docker 对比docker基础架构介绍unfs cgroup namespace进程虚拟化 轻量级虚拟化docker 安装docker 镜像制作docker 常见命令docker 镜像迁移docker pipework1docker weave虚拟化KVM虚拟化介绍，虚拟化适用场景等等Qemu Libvirt & KVM安装KVM, Qemu, LibvirtQEMU-KVM: 安装第一个能上网虚拟机Kvm虚拟机 nat,网桥基础原理kvm虚拟机克隆kvm虚拟机vnc配置kvm虚拟机扩展磁盘空间Kvm快照Kvm 迁移Java,python,c语言编程控制kvm云平台OpenStackopenstack介绍和模块基础原理分析openstack多节点安装布署【a.采取centos6.x系统】Keystone基础原理glanceCinderSwiftNeutronOpenstack api 二次开发综合项目演练1结合基于SSH技术jee项目互联网大数据调查系统，可针对当下流行事件进行网络调查，然后从海量调查调查问卷中经过大数据手段对其进行分析和汇总，最终对大众消费习惯、文化倾向、未知领域认知和新事物趋势做数据上可靠性分析，掌握大众心理导向，有效指定企业战略计划和布署。综合项目演练2结合中国某著名网站账户泄露信息，利用大数据技术对全部账户密码部分进行分析，从而判定国人在密码设置上缺点和漏洞，进而计算我们自己所设密码被成功破解概率，最终经过改变个人密码设置习惯有效保护个人账户和财产安全。