大数据课程综合体系.docx_咨信网zixin.com.cn

资源描述

Java基础 JAVA 开发基础知识 Eclipse 开发环境多线程技术 Socket 网络技术 Regular Expression Java反射技术多种实战设计模式面向对象设计标准详解 Java collection Reflection JVM原理和配置、调优 Java设计模式 Linux纲领 Linux介绍和安装 VMware Workstation虚拟软件安装ubuntu安装 Linux常见命令 Linux系统进程管理常见命令ps、pkill、top、htop等使用； Linux开启步骤，运行等级详解，chkconfig详解 nano编辑器 Linux权限管理：用户、组 Linux权限管理：文件权限rwx Linux网络管理：hosts,hostname,ifconfig 安装JDK Hadoop Hadoop介绍，发展史，中国外现实状况，未来 Hadoop 关键组成介绍及hdfs、mapreduce 体系结构 Hadoop 集群结构 Hadoop 独立模式安装和测试 Hadoop 开启和停止 SSH安装和配置 Hadoop 伪分布式和完全分布式安装配置 HDFS底层工作原理 HDFS datanode,namenode详解 Hdfs shell Hdfs java api InputSplit和OutputSplit BlockSize配置最少副本数配置 MR作业步骤分析编写Mapper程序编写Reducer程序实施Mapreduce过程 Hadoop 关键类讲解,RM,NM,NN,DN YARN调度框架事件分发机制 Hadoop底层IPC原理和RPC Hadoop底层谷歌 ProtoBuf协议分析分布式数据库 Hbase HBase介绍和RDBMS对比系统架构 HBase上MapReduce Hbase关键术语介绍 Hbase基础操作 HBase Shell和演示 Hbase 树形表设计 Hbase 一对多和多对多表设计 Hbase 调优(读、写、设计) 数据仓库Hive Hive介绍 Hive集群用户端介绍 HiveQL介绍和SQL比较数据类型外部表和分区表 ddl和CLI用户端演示 dml和CLI用户端演示 select和CLI用户端演示 Operators 和 functions和CLI用户端演示 Hive server2 和jdbc 用户自定义函数（UDF 和 UDAF）开发和演示 Hive 优化数据迁移工具Sqoop Sqoop介绍和配置 Sqoop shell常见命令 Sqoop导入和导出 Flume分布式日志框架 flume介绍-基础知识 flume安装和测试 flume布署方法 flume source相关配置及测试 flume sink相关配置及测试 flume selector 相关配置和案例分析 flume Sink Processors相关配置和案例分析 flume Interceptors相关配置和案例分析 flume AVRO Client开发 flume 和kafka 整合 Zookeeper 开发 Zookeeper java api开发 Zookeeper rmi高可用分布式集群开发 Zookeeper redis高可用监控实现 Netty 异步io通信框架 Zookeeper实现netty分布式架构高可用 kafka kafka是什么 kafka体系结构 kafka配置详解 kafka安装 kafka存放策略 kafka分区特点 kafka公布和订阅 zookeeper协调管理 java编程操作kafka scala编程操作kafka flume 和kafka 整合 Kafka 和storm 整合 Storm Storm基础概念 Storm应用场景 Storm和Hadoop对比 Storm集群安装linux环境准备 zookeeper集群搭建 Storm集群搭建 Storm配置文件配置项讲解集群搭建常见问题处理 Storm常见组件和编程API：Topology、 Spout、Bolt Storm分组策略(stream groupings) 使用Strom开发一个WordCount例子 Storm程序当地模式debug、Storm程序远程debug Storm事物处理 Storm消息可靠性及容错原理 Storm结合消息队列Kafka：消息队列基础概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API Storm Trident概念 Trident state 原理 Trident开发实例 Storm DRPC(分布式远程调用)介绍 Storm DRPC实战讲解 Storm和Hadoop 2.x整合：Storm on Yarn Storm开发实战： Kafka+Storm+Hbase+redis项目实战，和多个案例 Scala scala解释器、变量、常见数据类型等 scala条件表示式、输入输出、循环等控制结构 scala函数、默认参数、变长参数等 scala数组、变长数组、多维数组等 scala映射、元组等操作 scala类，包含bean属性、辅助结构器、主结构器等 scala对象、单例对象、伴生对象、扩展类、apply方法等 scala包、引入、继承等概念 scala特质 scala操作符 scala高阶函数 scala集合 scala数据库连接 Spark 大数据处理 Spark介绍和应用场景 RDD Transformation Action Spark计算PageRank Lineage Spark模型介绍 Spark缓存策略和容错处理宽依靠和窄依靠 Spark配置讲解 Spark集群搭建集群搭建常见问题处理 Spark原理关键组件和常见RDD 数据当地性任务调度 DAGScheduler TaskScheduler Spark源码解读性能调优 Spark和Hadoop2.x整合：Spark on Yarn原理 Spark Streaming 实时计算 Spark Streaming：数据源和DStream 无状态transformation和有状态transformation Streaming Window操作 sparksql 编程实战 spark多语言操作 Spark MLlib 机器学习介绍回归算法分类算法第四章推荐系统第五章聚类 Kmeans Docker 基础介绍 vm docker 对比 docker基础架构介绍 unfs cgroup namespace 进程虚拟化轻量级虚拟化 docker 安装 docker 镜像制作 docker 常见命令 docker 镜像迁移 docker pipework 1docker weave 虚拟化KVM 虚拟化介绍，虚拟化适用场景等等 Qemu Libvirt & KVM 安装KVM, Qemu, Libvirt QEMU-KVM: 安装第一个能上网虚拟机 Kvm虚拟机 nat,网桥基础原理 kvm虚拟机克隆 kvm虚拟机vnc配置 kvm虚拟机扩展磁盘空间 Kvm快照 Kvm 迁移 Java,python,c语言编程控制kvm 云平台OpenStack openstack介绍和模块基础原理分析 openstack多节点安装布署【a.采取centos6.x系统】 Keystone基础原理 glance Cinder Swift Neutron Openstack api 二次开发综合项目演练1 结合基于SSH技术jee项目—互联网大数据调查系统，可针对当下流行事件进行网络调查，然后从海量调查调查问卷中经过大数据手段对其进行分析和汇总，最终对大众消费习惯、文化倾向、未知领域认知和新事物趋势做数据上可靠性分析，掌握大众心理导向，有效指定企业战略计划和布署。综合项目演练2 结合中国某著名网站账户泄露信息，利用大数据技术对全部账户密码部分进行分析，从而判定国人在密码设置上缺点和漏洞，进而计算我们自己所设密码被成功破解概率，最终经过改变个人密码设置习惯有效保护个人账户和财产安全。

展开阅读全文