大数据金融信贷项目实战Spark2.3.x Streaming

199 龙果学院
去龙果学院学习

本课程为大数据金融信贷项目实战课,着重讲解企业中常用的大数据技术理论与实战,如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目,从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。  


课程目标
1.0基础学完,能达到 大数据开发工程师 水平 2.有开发基础学完,最高能达到大数据架构师水平

适用人群
1.在校学生从事大数据 2.非开发人员转行大数据 3.在职开发人员大数据技能提升 4.大数据企业内训


 课程大纲
第1章 项目需求与分析

 第1讲 课程介绍

免费 00:16:38

 第2讲 融信贷项目-介绍

免费 00:04:09

 第3讲 金融信贷项目-需求分析

免费 00:07:29

 第4讲 金融信贷项目-系统架构设计

免费 00:07:30

 第5讲 金融信贷项目-数据流程设计

免费 00:04:42

 第6讲 金融信贷项目-大数据平台集群规划

免费 00:04:29

第2章 集群节点准备

 第1讲 VMware虚拟机软件安装配置

00:17:02

| 
下载课件

 第2讲 Linux操作系统介绍

00:09:15

| 
下载课件

 第3讲 Linux操作系统安装1

00:11:23

 第4讲 VMware三种网络类型详解

00:16:47

 第5讲 Linux操作系统安装2

00:15:40

 第6讲 Linux系统网络配置

00:08:21

 第7讲 Linux虚拟机克隆

00:04:43

 第8讲 Linux静态IP技术

00:05:11

 第9讲 x-shell远程连接工具使用

00:06:01

 第10讲 Linux用户和用户组创建

00:07:42

 第11讲 Linux主机名配置

00:03:17

 第12讲 Linux防火墙配置

00:04:07

 第13讲 openssh-clients服务安装

00:02:40

 第14讲 Linux主机名与IP地址映射配置

00:06:34

 第15讲 SSH免密码登录

00:10:22

 第16讲 FileZilla工具使用

00:05:27

 第17讲 节点2所有配置

00:17:05

 第18讲 节点3所有配置

00:12:19

第3章 Eclipse环境搭建

 第1讲 本地JDK安装配置

00:09:20

 第2讲 Eclipse下载安装1

00:04:37

 第3讲 Eclipse下载安装2

00:00:43

 第4讲 本地maven安装配置

00:04:23

 第5讲 Eclipse配置maven

00:04:24

 第6讲 Eclipse构建maven项目

00:05:31

第4章 Zookeeper分布式协调系统

 第1讲 Zookeeper概述

00:09:29

 第2讲 Zookeeper架构原理

00:10:41

 第3讲 Zookeeper读写流程

00:09:16

 第4讲 Zookeeper服务

00:10:38

 第5讲 Zookeeper安装模式及不同厂商版本选择

00:13:54

 第6讲 Zookeeper集群规划

00:06:11

 第7讲 搭建时钟同步服务器

00:16:39

 第8讲 集群节点IP地址映射与防火墙配置

00:03:56

 第9讲 集群节点SSH免密码登录

00:07:42

 第10讲 集群脚本配置文件开发

00:05:45

 第11讲 集群分发shell脚本开发

00:25:25

 第12讲 集群远程执行shell脚本开发

00:12:30

 第13讲 集群JDK安装配置

00:17:58

 第14讲 Zookeeper集群安装部署

00:18:01

 第15讲 Zookeeper四字命令详解

00:05:06

 第16讲 Zookeeper shell实操

00:05:09

 第17讲 Zookeeper 连接Watcher开发

00:14:50

 第18讲 Zookeeper Java API创建znode

00:12:18

 第19讲 Zookeeper Java API判断znode是否存在

00:04:42

 第20讲 Zookeeper Java API获取znode数据

00:06:14

 第21讲 Zookeeper Java API更新znode节点数据

00:04:16

 第22讲 Zookeeper Java API获取znode子节点

00:05:51

 第23讲 Zookeeper Java API删除znode节点

00:05:14

 第24讲 Zookeeper集群配置管理项目案例

00:28:27

第5章 HDFS分布式文件系统

 第1讲 hdfs特点

00:07:24

 第2讲 hdfs体系架构

00:13:09

 第3讲 hdfs读数据流程

00:04:14

 第4讲 hdfs写数据流程

00:03:57

 第5讲 NameNode HA工作原理

00:09:03

 第6讲 ZKFC工作原理

00:06:48

 第7讲 QJM工作原理与防止脑裂

00:09:49

 第8讲 NameNode主备切换完成流程详解

00:04:36

第6章 YARN资源管理系统

 第1讲 YARN概述

00:07:20

 第2讲 YARN与MapReduce之间的关系

00:02:47

 第3讲 YARN基本架构

00:09:41

 第4讲 MapReduce ON YARN

00:08:09

 第5讲 YARN HA高可用

00:06:39

第7章 Hadoop分布式集群搭建

 第1讲 HDFS分布式文件系统安装配置

00:35:38

 第2讲 HDFS服务启动与测试

00:18:51

 第3讲 HDFS文件系统测试运行

00:08:34

 第4讲 YARN集群安装配置

00:06:29

 第5讲 YARN服务启动与测试

00:05:18

 第6讲 YARN测试运行

00:08:19

 第7讲 HDFS HA和YARN HA 故障转移实战演示

00:09:42

 第8讲 Hadoop默认配置详解

00:12:36

第8章 MapReduce离线计算框架

 第1讲 MapReduce概述

00:11:42

 第2讲 MapReduce基本设计思想

00:05:32

 第3讲 MapReduce编程模型

00:10:00

 第4讲 MapReduce案例分析

00:04:53

第9章 Eclipse与MapReduce集成开发

 第1讲 Eclipse开发MapReduce程序1

00:07:37

 第2讲 Eclipse开发MapReduce程序2

00:11:11

 第3讲 Eclipse本地调试运行MapReduce1

00:08:13

 第4讲 Eclipse本地调试运行MapReduce2

00:02:29

 第5讲 Eclipse项目打包的两种方式

00:03:55

 第6讲 MapReduce提交YARN集群运行

00:10:01

 第7讲 maven管理多个MapReduce程序1

00:08:36

 第8讲 maven管理多个MapReduce程序2

00:04:46

 第9讲 MapReduce调试、打包及部署运行

00:07:32

第10章 Eclipse与HDFS集成开发

 第1讲 获取HDFS文件系统

00:09:03

 第2讲 Java API创建HDFS目录

00:03:47

 第3讲 Java API文件上传HDFS

00:04:24

 第4讲 Java API实现HDFS文件下载

00:04:46

 第5讲 Java API查看HDFS文件目录

00:06:06

 第6讲 Java API删除HDFS文件目录

00:04:25

第11章 HBase分布式实时数据库

 第1讲 HBase概述

00:10:39

 第2讲 HBase数据模型

00:08:00

 第3讲 HBase物理模型

00:09:56

 第4讲 HBase系统架构

00:13:18

 第5讲 HBase淘宝案例

00:08:26

 第6讲 HBase移动案例

00:10:50

 第7讲 HBase集群规划

00:03:14

 第8讲 HBase安装配置

00:23:11

 第9讲 HBase服务启动测试

00:16:12

 第10讲 shell对HBase表进行测试

00:10:01

 第11讲 hbase Java客户端基本操作

01:11:49

第12章 Hive大数据仓库

 第1讲 Hive概述

00:05:59

 第2讲 Hive体系结构及原理

00:08:32

 第3讲 HiveMetaStore安装方式与Hive部署方式

00:04:22

 第4讲 MySQL元数据库安装

00:11:46

 第5讲 Hive安装配置

00:12:29

 第6讲 Hive服务启动与测试

00:07:10

 第7讲 HiveServer1与HiveServer2区别与联系

00:05:22

 第8讲 JDBC访问HiveServer2

00:15:56

 第9讲 beeline访问HiveServer2

00:05:27

 第10讲 Hive与HBase集成开发

00:13:21

第13章 Sqoop数据导入导出

 第1讲 Sqoop数据导入导出原理

00:10:50

 第2讲 Sqoop安装部署

00:20:24

 第3讲 Sqoop将MySQL数据导入HDFS

00:22:29

 第4讲 Sqoop将HDFS数据导入MySQL

00:30:53

 第5讲 利用Sqoop实现Hive与MySQL数据导入导出

00:16:19

 第6讲 利用Sqoop实现HBase与MySQL数据导入导出

00:12:11

 第7讲 MySQL数据库乱码以及访问权限问题解决

00:05:15

第14章 Flume数据采集系统

 第1讲 flume概述

00:06:04

 第2讲 Flume系统架构

00:08:00

 第3讲 Flume安装部署

00:20:20

 第4讲 Flume集群构建

00:23:44

 第5讲 Flume官网文档使用详解

00:14:58

第15章 Kafka消息系统

 第1讲 Kafka概述

00:11:34

 第2讲 Kafka系统架构

00:14:57

 第3讲 Kafka拓扑结构

00:06:49

 第4讲 Kafka集群配置

00:19:00

 第5讲 Kafka集群服务启动与测试

00:08:45

 第6讲 Kafka 新api数据发送与消费

00:11:23

 第7讲 Kafka旧api数据发送与消费

00:09:00

 第8讲 Kafka集群监控

00:16:42

 第9讲 Kafka与flume集成开发

00:12:55

第16章 Spark 快速入门

 第1讲 Spark概述

00:14:42

 第2讲 Spark最简安装

00:20:52

 第3讲 Eclipse开发并测试Java版本的Spark Wordcount

00:26:22

 第4讲 Spark Submit提交运行Java版本的Wordcount

00:08:47

 第5讲 Eclipse安装Scala插件

00:12:05

 第6讲 Eclipse构建Scala maven项目

00:10:47

 第7讲 Eclipse开发Scala版本的Spark Wordcount

00:10:00

 第8讲 Scala Wordcount本地和线上分别测试运行

00:12:00

第17章 Spark 编程模型

 第1讲 RDD本质

00:22:05

 第2讲 RDD窄依赖与宽依赖

00:10:02

 第3讲 创建RDD

00:06:59

 第4讲 RDD转换操作与行动操作

00:12:17

 第5讲 PairRDD转换操作与行动操作

00:13:55

第18章 Spark集群安装部署

 第1讲 scala安装配置

00:11:08

 第2讲 Spark集群配置

00:20:32

 第3讲 spark集群服务启动测试

00:03:11

 第4讲 Spark Standalone工作流程

00:05:33

 第5讲 提交作业到Spark Standalone集群运行

00:18:27

 第6讲 Spark ON YARN 工作原理

00:07:54

 第7讲 Spark ON YARN集群搭建

00:18:25

第19章 Spark Streaming实时计算

 第1讲 Spark Streaming概述

00:17:42

 第2讲 Spark Streaming运行原理

00:07:56

 第3讲 Spark Streaming 编程套路

00:14:19

 第4讲 窗口函数普通规约与增量规约

00:15:28

 第5讲 DStream输出及持久化操作

00:02:38

第20章 Spark SQL离线计算

 第1讲 Spark SQL架构原理

00:12:21

 第2讲 DataFrame、DataSet与RDD之间的区别与联系

00:13:20

 第3讲 RDD转DataFrame

00:16:14

 第4讲 RDD转DataSet

00:13:13

 第5讲 DataSet转DataFrame

00:07:16

 第6讲 DataSet转RDD

00:08:23

 第7讲 DataFrame转RDD

00:13:10

 第8讲 SparkSQL与Hive集成开发

00:24:46

 第9讲 Spark SQL与mysql集成开发

00:04:21

 第10讲 Spark SQL与HBase集成开发

00:10:20

第21章 Spark Structured Streaming实时计算

 第1讲 Spark Streaming Streaming案例

00:13:20

 第2讲 Spark Structured Streaming编程模型

00:15:25

 第3讲 Spark Structured Streaming数据源

00:04:09

第22章 金融信贷项目离线分析

 第1讲 金融信贷项目-启动集群相关服务

00:16:25

 第2讲 金融信贷项目-数据格式说明

00:05:34

 第3讲 金融信贷项目-业务数据导入Hive平台

00:32:27

 第4讲 金融信贷项目-信用卡持卡用户特征分析

00:24:16

 第5讲 金融信贷项目-信用卡用户消费行为分析

00:13:54

 第6讲 金融信贷项目-用户信用卡管理行为分析

00:05:31

 第7讲 金融信贷项目-开发Hive Shell脚本

00:07:34

 第8讲 金融信贷项目-MySQL业务数据建模

00:06:27

广告一下
热门教程
PHP7报A non well formed numeric value encountered 0
Linux系统下关闭mongodb的几种命令分享 0
mongodb删除数据、删除集合、删除数据库的命令 0
Git&Github极速入门与攻坚实战课程 0
python爬虫教程使用Django和scrapy实现 0
libnetsnmpmibs.so.31: cannot open shared object file 0
数据结构和算法视频教程 0
redis的hash结构怎么删除数据呢? 0
C++和LUA解析器的数据交互实战视频 0
mongodb errmsg" : "too many users are authenticated 0
C++基础入门视频教程 0
用30个小时精通C++视频教程可能吗? 0
C++分布式多线程游戏服务器开发视频教程socket tcp boost库 0
C++培训教程就业班教程 0
layui的util工具格式时间戳为字符串 0
C++实战教程之远程桌面远程控制实战 1
网络安全培训视频教程 0
LINUX_C++软件工程师视频教程高级项目实战 0
C++高级数据结构与算法视频教程 0
跨域问题很头疼?通过配置nginx轻松解决ajax跨域问题 0
相关文章
【译】JavaScript数据结构(3):单向链表与双向链表 16
10个JavaScript难点 16
【译】苹果拒绝支持PWA,有损Web的未来 16
iView 一周年了,同时发布了 2.0 正式版,但这只是开始... 16
nodejs+mongodb构建一个简单登录注册功能 16
【译】JavaScript数据结构(4):树 16
组件化开发与黑箱 16
TypeScript - 不止稳,而且快 16
webpack3+anujs+ReactCSSTransitionGroup 16
原生js实现图片放大镜效果 16
WEB缓存探究第二弹——实战 16
纯笔记:vfork 的一些使用场景(顺便讲一下 fork 的原理) 16
Android APP 内部捐赠实现(支付宝&微信) 16
WKWebView 的一些小总结 16
模型评价(一) AUC大法 16
开始使用GraphQL 16
Webpack模块化原理简析 16
gulp使用问题记录 16
使用Angular4动画为页面添彩 16
Python27 Matplotlib (win64 python2.7) 安装及简单使用 16