大数据课程介绍
大数据课程介绍
1、Linux基础和分布式集群技术
需要熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构。
2、HADOOP核心技术框架
Hadoop是大数据的主流技术框架,需要掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发;MAPREDUCE分布式运算系统的工作原理和分布式应用开发;HIVE数据仓库工具的工作原理及应用开发等。
3、大数据离线计算
这一阶段主要掌握数据仓库的核心概念和设计流程;通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程。
4、Storm实时计算
Storm是实时流计算的代表框架,这一阶段主要两个核心技术点,Storm和Kafka。
这一阶段需要掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用,具备开发基于storm实时计算程序的技术能力。
5、Spark技术框架
Spark也是大数据当中必学的一个主流计算框架。这一阶段需要学习掌握Scala函数式编程特性,熟练使用Scala开发程序;能够搭建Spark集群、使用Scala编写Spark计算程序,熟练掌握Spark原理,可以阅读Spark源码;理解DataFrame和RDD之间的关系,熟练使用DataFrame的API,熟练使用Spark SQL处理结构化数据;理解Spark Streaming的核心DStream,掌握DStream的编程API并编写实时计算程序等。
市面上的大数据课程,有O 基础入门的课程,也有技术提升的课程,适合于不同的人群,学习者可以根据自身的基础水平来进行选择。这里我们就先来说说O 基础大数据课程。
1、Linux基础和分布式集群技术
需要熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构。
2、HADOOP核心技术框架
Hadoop是大数据的主流技术框架,需要掌握hadoop底层分布式文件系统HDFS的原理、操作和应用开发;MAPREDUCE分布式运算系统的工作原理和分布式应用开发;HIVE数据仓库工具的工作原理及应用开发等。
3、大数据离线计算
这一阶段主要掌握数据仓库的核心概念和设计流程;通过对HADOOP生态圈关键辅助工具的学习掌握hadoop分析系统的整合能力;掌握hadoop离线数据挖掘系统从数据采集、入库、分析及报表展现的整套流程。
4、Storm实时计算
Storm是实时流计算的代表框架,这一阶段主要两个核心技术点,Storm和Kafka。
这一阶段需要掌握Storm开发及底层原理、Kafka的开发及底层原理、Kafka与Storm集成使用,具备开发基于storm实时计算程序的技术能力。
5、Spark技术框架
Spark也是大数据当中必学的一个主流计算框架。这一阶段需要学习掌握Scala函数式编程特性,熟练使用Scala开发程序;能够搭建Spark集群、使用Scala编写Spark计算程序,熟练掌握Spark原理,可以阅读Spark源码;理解DataFrame和RDD之间的关系,熟练使用DataFrame的API,熟练使用Spark SQL处理结构化数据;理解Spark Streaming的核心DStream,掌握DStream的编程API并编写实时计算程序等。
下一篇:大数据运维难吗
延伸阅读:
- CAD培训班学费要多少[图]
- 电商美工培训班多少钱[图]
- 室内设计培训班学什么内容[图]
- 重庆天琥教育地址在哪里[图]
- 重庆天琥教育培训靠谱吗[图]
- 包装设计分类有哪些-包装设计有哪些种类[图]
- 平面设计要求-平面设计师需要具备什么条件[图]
- 装修怎么找设计师-如何找好的装修设计师[图]
- 室内设计专业怎么学-室内设计专业需要学什么[图]
- 报班学广告设计要多久-报班学设计一般多少钱[图]