北京大数据开发课程

北京大数据开发课程的内容有Java核心、Hadoop、Spark、Python、项目实战、机器学习、大数据系统、管理优化、阿里云平台、就业项目CC服务；大数据应用已经深入互联网、电商、政务、金融、交通等各领域，当前热门应用刷脸支付、自动驾驶、猜你喜欢、无人快递车等无不以大数据为基石。随着大数据产业上升为国家战略，大数据的价值越来越重要。

大数据课程
学习内容	可掌握的核心能力	可解决的现实问题	市场价值
Java基础入门、Java面向对象、Java高级API、MySQL、Java Web、SSM	掌握JavaEE核心技术、能够使用MySQL操作和管理数据、掌握Java SSM框架的使用、能够完成Java Web项目、熟悉Linux编程的基本使用、通过ELK了解数据处理的整个过程	能够完成Java Web项目能够搭建Linux环境并进行shell编程	可胜任初级Java工程师的工作需求，月薪8000-10000元
Linux编程、ELK、HDFS、MapReduce、Yarn及ZooKeeper、Hive、HBase、Sqoop、离线项目实战	熟悉Linux编程的基本使用、通过ELK了解数据处理的整个过程、掌握Hadoop平台核心技术、掌握Hive开发、掌握HBase开发、掌握离线项目开发所需技能	能够搭建Linux环境并进行shell编程、能够完成基于Hadoop的数据仓库项目开发	可胜任初级大数据离线处理工作，如ETL工程师，Hive工程师，数据仓库工程师，HBase工程师等，月薪10000-13000元
Scala编程、Spark Core、Spark SQL、Spark GraphX、SparkStreaming实时处理	掌握Scala基本编程、掌握Spark架构基本内容及原理、掌握Spark开发及使用、掌握Spark实时数据处理	能够完成基于Scala的Spark代码开发	大数据知识提升阶段，可掌握Spark基本原理及使用，可胜任Spark开发工作，如Spark开发工程师，大数据实时处理工程师等，月薪14000-16000元
Python编程、Python数据爬取、PySpark	掌握Python基本使用、掌握Python核心库的使用、掌握Python爬虫、掌握Python简单数据分析	能够完成Python爬虫项目的开发、会使用Python进行简单的数据分析	可胜任Python爬虫工程师，初级机器学习工程师工作，月薪16000-20000元
电商数仓项目实战、用户兴趣取向分析、教育平台大数据分析、股票数据流实时分析	掌握大数据项目开发的基本流程、掌握项目开发的具体实现方法、掌握企业级大数据项目开发实战经验	掌握大数据项目开发流程及相关技术、处理企业真实项目的开发	经过大量项目实战，可胜任大数据开发工程师，Spark工程师，可视化工程师，ETL工程师相关工作。月薪18000-24000元
机器学习算法Spark实现机器学习、Python实现机器学习、机器学习项目实战云音乐推荐系统、	掌握机器学习的基本流程、掌握机器学习的常用算法模型、掌握使用Spark ML和Python进行机器学习开发、掌握推荐系统项目开发原理及流程	掌握机器学习基本知识、掌握大数据机器学习项目开发流程及相关技术、能够运用机器学习知识进行项目开发	可胜任机器学习工程师、机器学习算法工程师、大数据挖掘工程师等相关工作,月薪22000-28000元
提升系统的可靠性、提升系统的安全性-认证、授权及审计、数据保护	掌握大数据高可用集群管理、理解并掌握系统的安全性、授权及审计、数据保护等技能	掌握大数据高可用集群管理、理解并掌握系统的安全性、授权及审计、数据保护等技能	掌握大数据高可用集群管理、理解并掌握系统的安全性、授权及审计、数据保护等技能
阿里云平台、实验环境搭建、阿里云项目训练、阿里云认证指导	掌握阿里云平台的基本使用、掌握企业使用阿里云大数据平台开发所需要的技能	满足阿里云认证相关技能，可进行企业阿里云大数据平台的搭建开发	大量阿里云合作企业优先录取，提升你的就业Level

项目	项目介绍	技术架构	主要业务
电商项目	根据用户在电商网站的消费行为日志数据以及数据库数据等，分析用户的消费习惯以及消费偏好，进行构建用户画像，并对用户消费行为进行分析	Flume+Kafka+Hive+HBase+Oozie+Spark SQL+Redis+MySQL+Zeppelin	对电商网站日志进行收集，清洗； 对用户构建用户画像；通过Hive对用户消费行为分析；通过Oozie进行ETL任务调度；通过Zeppelin进行数据可视化展示；
社交项目	根据用户访问网站的浏览信息，以及点赞关注等行为，根据日志数据，来分析判断用户的兴趣取向	Flume+Kafka+Hive+PySpark+HBase+Oozie+Spark Streaming+NiFi+Redis+Cassandra+MySQL	获取用户访问网站的日志数据，并对其进行清洗，ETL变换； 通过PySpark建立日志推荐模型；使用Spark Streaming及ML进行用户兴趣取向实时预测；通过Python将日志推荐数据进行存储；建立Tableau与MySQL的链接，进行数据可视化及报表展示；
金融项目	通过实时收集并分析股票数据信息，并对数据进行过滤，清洗，挖掘，计算，然后通过可视化框架进行展示	Flume+Kafka+HDFS+Spark Streaming +Confluent+Flink+Grafana	项目数据格式定义； Apache Kafka进行股票数据扒取；基于Confluent的股票元数据管理及应用；Flink流数据处理及实时分析；Flink实时股票的实时分析；Grafana/Zeppelin数据可视化
互联网项目	大型电商集团需要各研发中心使用统一的数仓设计规范，以便于集团数据的共享和规划建设。本系统是运营支撑平台的一部分，通过对业务数据的分析，获得用户主题和订单的相关分析情况，生成用户的访问模型和用户的订单行为模型，对访问时段和下单区域分布进行分析和报表展示	MySQL+Sqoop+Hive+SparkSQL+Azkaban+Zeppelin	设计构建能够支持大型电商集团所需的大数据仓库，为公司业务运营进行支撑
音乐项目	大数据技术越来越多地和机器学习相结合，为企业和用户提供便利。本系统基于大数据和机器学习技术，通过对用户APP操作行为数据（打点数据）收集，通过机器学习算法向用户精准地推荐音乐和歌单，提高用户的使用体验，增强APP的使用粘性	Flume+Kafka+Hive+Spark Core+SparkSQL+SparkML+MySQL+Redis+机器学习算法	通过Flume对打点数据进行采集；通过Kafka进行数据接收；通过Hive、Spark Core和SparkSQL进行数据清洗、整理；调用SparkML中的协同过滤（ALS）和逻辑回归等算法进行运算，实现对用户的音乐推荐功能；将推荐结果保存到Redis数据库中供其他应用调用
搜索项目	Python也是目前大数据开发中使用较多的一门语言，ElasticSearch是目前企业使用最多的搜索服务器。该项目是Python爬虫与ELK搜索结合的项目，通过Python爬虫获取数据，对获取的数据，使用ELK实现全文检索功能	Python+Scrapy+ELK+Hadoop+HBase+Oozie+MySQL	通过Python爬虫获取数据；将爬取数据存入HBase;构建ELK全文检索服务；实现全文检索功能