基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC、移动、小程序)
本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。
本课程包含的技术:
开发工具为:IDEA、WebStorm
Flink1.9.0
ClickHouse
Hadoop2.6.0
Hbase1.0.0
Kafka2.1.0
Hive1.0.0
Jmeter(验证如何支撑亿级并发)
Docker (虚拟化部署)
HDFS、MapReduce
Zookeeper
SpringBoot2.0.2.RELEASE
SpringCloud Finchley.RELEASE Binlog、
Canal
MySQL
Vue.js、Nodejs
Highcharts
Linux Shell编程
课程亮点:
1.与企业无缝对接、真实工业界产品
2.ClickHouse高性能列式存储数据库
3.大数据热门技术Flink新版本
4.Flink join 实战
5.Flink 自定义输出路径实战
6.全链路性能压力测试
7.虚拟化部署
8.集成指标明细查询
9.主流微服务后端系统
10.分钟级别与小时级别多时间方位分析
11.数据库实时同步解决方案
12.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS
13.集成SpringCloud实现统一整合方案
14.互联网大数据企业热门技术栈
15.支持海量数据的实时分析
16.支持全端实时数据分析
17.全程代码实操,提供全部代码和资料
18.提供答疑和提供企业技术方案咨询
企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。
版权归作者所有,盗版将进行法律维权。
第1讲 1、课程说明
免费 00:05:17
第2讲 2、课程价值说明
免费 00:04:10
第3讲 3、数据采集服务构建
免费 00:09:57
第4讲 4、Spring Cloud Eureka构建服务注册中心
00:08:09
第5讲 5、日志数据结构深度讲解
00:19:26
第6讲 6、数据采集服务完善以及客户端数据上报实战
00:26:35
第7讲 7、kafka环境搭建以及kafka联调测试
00:21:58
第8讲 8、数据采集服务整合kafka
00:16:36
第9讲 9、flink部署以及任务提交讲解
00:09:22
第10讲 10、flink+kafka构建实时分析服务
00:05:27
第11讲 11、flink+kafka构建实时分析服务联调测试以及效果演示
00:06:29
第12讲 12、hadoop环境搭建
00:11:00
第13讲 13、ClickHouse 初识讲解
00:06:25
第14讲 14、ClickHouse安装详解以及简单使用讲解
00:08:57
第15讲 15、ClickHouse数据类型以及常用操作实战
00:13:23
第16讲 16、ClickHouse java使用讲解1
00:19:53
第17讲 17、ClickHouse java使用讲解2
00:05:24
第18讲 18、日志数据完善优化讲解
00:03:30
第19讲 19、数据收集服务优化完善
00:06:56
第20讲 20、hbase环境安装
00:09:58
第21讲 21、hbase 工具类代码编写以及联调测试
00:21:57
第22讲 22、用户状态设计讲解
00:07:22
第23讲 23、数据收集服务业务处理
00:18:46
第24讲 24、新增用户状态封装代码编写
00:11:10
第25讲 25、用户多终端活跃状态封装代码编写
00:30:34
第26讲 26、日期工具代码编写以及数据收集服务业务处理代码完善
00:11:16
第27讲 27、全站流量分析访问次数分钟级map代码编写
00:17:42
第28讲 28、全站流量分析访问次数分钟级浏览量reduce以及sink代码编写
00:14:05
第29讲 29、全站流量分析新增用户分钟级趋势代码编写
00:04:57
第30讲 30、全站流量分析多时间周期活跃用户分钟级趋势代码编写
00:10:27
第31讲 31、全站流量分析分钟级用户趋势以及分钟级用户去重代码编写
00:11:14
第32讲 32、全站流量分析小时级趋势分析代码编写以及巧妙代码重构
00:09:49
第33讲 33、全站流量趋势分析完善补充
00:04:24
第34讲 34、全站流量分析时间间隔处理代码编写
00:18:07
第35讲 35、flink自定义输出路径BucketingSink
00:16:27
第36讲 36、flink事件数据规则自定义输出路径代码编写以及效果演示
00:12:57
第37讲 37、flink自定义输出路径StreamingFileSink代码编写以及效果演示
00:17:07
第38讲 38、全站流量分析之flink实现用户小时级明细map代码编写
00:11:17
第39讲 39、全站流量分析之flink实现小时级明细reduce以及filesink代码编写
00:13:15
第40讲 40、全站流量分析之flink实现小时级明细分区路径优化代码编写
00:06:04
第41讲 41、hive安装实战
00:15:30
第42讲 42、hive使用详解
00:10:25
第43讲 43、Hive JsonSerde实战讲解
00:08:17
第44讲 44、全站流量分析小时级用户明细联调测试
00:19:51
第45讲 45、全站流量分析小时级用户明细bug调试以及问题解决实战讲解
00:11:59
第46讲 46、hive 分区表实战讲解
00:13:13
第47讲 47、linux shell编程讲解
00:06:40
第48讲 48、linux crontab实战讲解
00:10:37
第49讲 49、全站流量用户明细hive区分表以及添加分区实现
00:06:56
第50讲 50、全站流量用户明细定时任务脚本编写以及定时任务设定
00:10:05
第51讲 51、渠道分析数据以及指标讲解
00:04:08
第52讲 52、渠道分析分钟级访问次数趋势代码编写
00:14:30
第53讲 53、渠道分析分钟级新增以及活跃用户趋势代码编写
00:05:06
第54讲 54、渠道分析小时级分析代码编写
00:04:01
第55讲 55、渠道分析之小时级用户明细代码编写
00:10:38
第56讲 56、渠道分析趋势代码完善
00:03:19
第57讲 57、渠道分析之用户明细hive表构建以及定时任务脚本编写以及定时任务设定
00:08:11
第58讲 58、业务数据结构讲解
00:20:34
第59讲 59、业务数据同步之binlog讲解
00:05:08
第60讲 60、业务数据同步之binlog日志查看
00:04:32
第61讲 61、业务数据同步之canal讲解
00:04:05
第62讲 62、业务数据同步之canal+kafka实时同步业务数据
00:10:04
第63讲 63、业务数据同步之实战联调讲解1
00:11:03
第64讲 64、业务数据同步之实战联调讲解2
00:10:03
第65讲 65、业务数据同步之实战联调讲解3
00:03:15
第66讲 66、flink+fastJson实时处理binlog数据代码编写
00:14:43
第67讲 67、flink+反射技术实时业务数据提取和存储
00:14:34
第68讲 68、kafka 工具类代码编写
00:15:35
第69讲 69、业务数据重定向各个业务topic
00:05:29
第70讲 70、业务数据实时重定向实战联调演示
00:15:58
第71讲 71、广告分析之分钟级点击量趋势
00:18:34
第72讲 72、广告分析之用户趋势实时分析代码编写
00:10:32
第73讲 73、广告分析之小时级用户明细代码编写
00:08:48
第74讲 74、广告分析之用户明细hive定时离线导入
00:08:13
第75讲 75、flink之Join详解
00:04:48
第76讲 76、flink之Join实战代码编写
00:11:21
第77讲 77、flink之Join实战效果联调测试
00:05:27
第78讲 78、广告分析之广告转化率实时分析代码编写1
00:13:21
第79讲 79、广告分析之广告转化率实时分析代码编写2
00:22:39
第80讲 80、ClickHouse业务表构建
00:12:38
第81讲 81、ClickHouse工具类封装数据转换sql代码编写
00:10:48
第82讲 82、ClickHouse工具类封装数值类型特殊转换代码编写
00:05:47
第83讲 83、ClickHouse工具类结合jdbc实战调试数据转换和数据存储
00:08:29
第84讲 84、flink ClickHouseSink代码完善
00:10:28
第85讲 85、spring boot 2.x 构建后端接口服务
00:07:39
第86讲 86、vue.js构建前端项目1
00:07:31
第87讲 87、vue.js构建前端项目2
00:02:17
第88讲 88、vue 前端项目模板说明
00:03:54
第89讲 89、前端系统之vue.js+highcharts构建图表实战
00:10:40
第90讲 90、前端系统之全站流量趋势新增用户趋势实战开发
00:12:53
第91讲 91、前端系统之vue表格实战
00:09:47
第92讲 92、前端系统之vue-resource实现后台交互实战
00:12:42
第93讲 93、前端系统vue代码完善以及后端接口设计和代码编写
00:22:49
第94讲 94、前端系统联调后端接口服务实战讲解
00:09:24
第95讲 95、前端系统vue代码调试以及跨域问题解决
00:07:38
第96讲 96、前端系统之highchart点击事件实战讲解
00:08:34
第97讲 97、vue 动态参数传递以及页面内部跳转讲解
00:07:08
第98讲 98、clickhouse表结构优化以及flink sink代码优化
00:14:55
第99讲 99、flink日期特殊处理
00:07:59
第100讲 100、接口服务整合clickhouse代码编写
00:19:42
第101讲 101、接口服务封装clickhouse查询结果以及数据联调效果演示
00:17:28
第102讲 102、接口服务之map和set巧妙解决日期乱序数据日期不对称问题
00:25:10
第103讲 103、接口服务之代码坑讲解以及解决
00:06:49
第104讲 104、后端数据联调前端项目实战演示
00:09:54
第105讲 105、接口服务整合hive之hive工具类代码编写
00:24:34
第106讲 106、后端数据服务整合hive代码编写
00:14:19
第107讲 107、压力测试jemeter详解
00:07:37
第108讲 108、flink实时分析系统jemeter压测实战
00:16:25
第109讲 109、接口服务以及前端系统完善之全站点击量趋势
00:09:16
第110讲 110、接口服务以及前端系统之全站流量用户数量趋势
00:06:44
第111讲 111、接口服务以及前端系统之全站流量活跃用户趋势
00:01:45
第112讲 112、接口服务以及前端系统完善之渠道分析
00:06:44
第113讲 113、接口服务之广告分析点击趋势和用户趋势代码编写
00:14:18
第114讲 114、广告分析之广告列表服务以vue 点击事件以及自定义函数及前端开发.avi
00:37:19
第115讲 115、广告分析之广告转化率接口以及前端代码编写
00:25:23
第116讲 116、广告分析之广告用户明细接口以及前端代码编写
00:20:33
第117讲 117、docker 部署实时分析服务之docker安装
00:06:36
第118讲 118、docker 部署实时分析服务之dockerfile讲解
00:03:26
第119讲 119、docker部署全流量分析服务实战1
00:12:57
第120讲 120、docker部署全流量分析服务实战2
00:18:19
第121讲 121、docker部署全流量分析服务实战3
00:22:20
第122讲 122、订单分析之订单量趋势分钟级代码编写
00:18:20
第123讲 123、订单分析之订单量趋势小时级代码编写
00:03:22
第124讲 124、订单分析之订单用户趋势代码编写
00:11:43
第125讲 125、订单分析之客单价分析代码编写
00:05:41
第126讲 126、订单分析完善之clickhouse建表补充
00:01:28
第127讲 127、运营分析表结构讲解
00:12:27
第128讲 128、运营分析之团购商品类别趋势分钟级代码编写
00:20:28
第129讲 129、运营分析之团购商品类别趋势小时级完善补充
00:01:48
第130讲 130、运营分析之团购订单趋势代码编写
00:10:51
第131讲 131、运营分析之团购用户趋势代码编写
00:14:30
第132讲 132、运营分析之团购用户趋势代码编写补充讲解
00:02:33
第133讲 133、运营分析之秒杀成交订单趋势分钟级代码编写
00:13:41
第134讲 134、运营分析之秒杀成交订单趋势小时级代码编写
00:02:39
第135讲 135、运营分析之秒杀支付类型趋势代码编写
00:10:09
第136讲 136、运营分析之秒杀clickhouse表构建补充
00:01:43
第137讲 137、运营分析之活动地域趋势分析代码编写
00:14:38
第138讲 138、运营分析之指定活动订单趋势代码编写
00:10:15
第139讲 139、订单分析后端服务之订单趋势以及用户趋势接口代码编写
00:17:21
第140讲 140、订单分析后端服务之客单价接口代码编写
00:14:20
第141讲 141、团购分析后端服务接口代码编写1
00:12:46
第142讲 142、团购分析后端服务接口代码编写2
00:14:41
第143讲 143、秒杀活动分析后端服务接口代码编写
00:16:45
第144讲 144、指定活动分析后端服务接口代码编写
00:15:01
第145讲 145、订单分析前端代码开发
00:06:58
第146讲 146、团购分析前端代码开发
00:13:00
第147讲 147、秒杀分析以及活动分析前端代码开发讲解
00:01:25
第148讲 148、clickhouse实现实时概况统计实战1
00:15:48
第149讲 149、clickhouse实现实时概况统计实战2
00:04:42
第150讲 150、前端项目完善1
00:15:51
第151讲 151、前端项目完善2
00:19:32
第152讲 152、课程总结
00:04:57
第153讲 153、项目最终效果演示
00:08:18