大数据实时项目从架构设计到实战部署 大数据项目分析与可视化实现

摘要： 大数据实时项目从架构设计到实战部署 大数据项目分析与可视化实现===============课程目录===============├─01大数据技术之实时项目-课程概述及数据采集....

大数据实时项目从架构设计到实战部署 大数据项目分析与可视化实现

===============课程目录===============


├─01大数据技术之实时项目-课程概述及数据采集.docx
├─02大数据技术之实时项目-ElasticSearch.docx
├─03大数据技术之实时项目-需求一日活.docx
├─04大数据技术之实时项目-需求二首单分析(ods+dwd).docx
├─05大数据技术之实时项目-需求三订单明细实付金额分摊及交易额统计(dws).docx
├─06大数据技术之实时项目-ClickHouse.docx
├─07大数据技术之实时项目-需求四ADS聚合及可视化(ads).docx
├─MyBatis.txt
├─实付分摊分析思路.txt
├─实时.bmpr
(2)\2.资料；目录中文件数:3个
├─dw-chart.rar
├─gmall2020.sql
├─双流Join使用缓存解决数据丢失参考.scala
(3)\3.代码；目录中文件数:1个
├─gmall0421-parent.rar
(4)\4.视频；目录中文件数:0个
(5)\2.资料\01-模拟器(用户行为)；目录中文件数:5个
├─application.properties
├─gmall2020-mock-log-2020-05-10.jar
├─logback.xml
├─path.json
├─模拟器源码（感兴趣可以看一下）.rar
(6)\2.资料\02-工具；目录中文件数:5个
├─canal.deployer-1.1.4.tar.gz
├─maxwell-1.25.0.tar.gz
├─nginx-1.12.2.tar.gz
├─squirrel-sql-3.9.1.zip
├─squirrel驱动配置图.png
(7)\2.资料\03-模拟器(数据库)；目录中文件数:3个
├─application.properties
├─gmall2020-mock-db-2020-05-18.jar
├─记得修改mysql地址，建议用户个数只保留100个
(8)\2.资料\04-ClickHouse；目录中文件数:4个
├─clickhouse-client-20.4.5.36-2.noarch.rpm
├─clickhouse-common-static-20.4.5.36-2.x86_64.rpm
├─clickhouse-common-static-dbg-20.4.5.36-2.x86_64.rpm
├─clickhouse-server-20.4.5.36-2.noarch.rpm
(9)\4.视频\day01；目录中文件数:13个
├─00实时项目_需求介绍.avi
├─01实时项目_离线和实时架构对比.avi
├─02实时项目_模拟数据生成jar包说明.avi
├─03实时项目_日志采集模块搭建.avi
├─04实时项目_Controller接收数据并对其进行处理.avi
├─05实时项目_请求方式介绍以及RestfulAPI介绍.avi
├─06实时项目_通过logback对日志进行落盘.avi
├─07实时项目_保存日志到kafka.avi
├─08实时项目_打包日志服务到单台Linux.avi
├─09实时项目_反向代理架构介绍.avi
├─10实时项目_Nginx介绍.avi
├─11实时项目_使用Nginx反向代理发送请求到不同的日志服务器.avi
├─12实时项目_编写启动Nginx以及日志服务脚本.avi
(10)\4.视频\day02；目录中文件数:15个
├─00实时项目_日活需求介绍.avi
├─01实时项目_ElasticSearch介绍.avi
├─02实时项目_倒排索引.avi
├─03实时项目_ElasticSearch和lucene等关系.avi
├─04实时项目_ElasticSearch安装.avi
├─05实时项目_ES集群启动及测试.avi
├─06实时项目_Kibana安装以及配置.avi
├─07实时项目_上午内容回顾.avi
├─08实时项目_ES中基本概念.avi
├─09实时项目_ESAPI（索引操作）.avi
├─10实时项目_ESAPI（文档创建查询和删除）.avi
├─11实时项目_ESAPI（替换文档幂等性）.avi
├─12实时项目_ESAPI（更新文档及批处理）.avi
├─13实时项目_ESAPI（分词查询）.avi
├─14实时项目_ESAPI（精准查询和容错查询）.avi
(11)\4.视频\day03；目录中文件数:17个
├─00实时项目_内容回顾.avi
├─01实时项目_ESAPI（过滤）.avi
├─02实时项目_ESAPI（范围过滤，排序，分页，高亮）.avi
├─03实时项目_ESAPI（聚合）.avi
├─04实时项目_分词器介绍.avi
├─05实时项目_自定义词库（本地）.avi
├─06实时项目_自定义词库（远程）.avi
├─07实时项目_mapping（自动定义）.avi
├─08实时项目_mapping（手动定义）.avi
├─09实时项目_上午内容回顾.avi
├─10实时项目_别名.avi
├─11实时项目_索引模板.avi
├─12实时项目_Idea操作ES的model创建.avi
├─13实时项目_Idea操作ES获取连接对象.avi
├─14实时项目_Idea操作ES向Index中插入数据.avi
├─15实时项目_根据文档id从索引中查询数据.avi
├─16实时项目_按照条件从索引中查询数据.avi
(12)\4.视频\day04；目录中文件数:12个
├─00实时项目_内容回顾.avi
├─01实时项目_按照条件从索引中查询数据.avi
├─02实时项目_日活需求介绍.avi
├─03实时项目_创建读取配置文件的工具类.avi
├─04实时项目_创建读取Kafka数据的工具类.avi
├─05实时项目_创建获取Jedis的工具类.avi
├─06实时项目_上午内容回顾.avi
├─07实时项目_功能1从kafka中读取数据.avi
├─08实时项目_功能2通过Redis去重实现方式1.avi
├─09实时项目_功能2通过Redis去重实现方式2.avi
├─10实时项目_功能3向ES中保存数据的业务代码.avi
├─11实时项目_ES批量插入实现.avi
(13)\4.视频\day05；目录中文件数:12个
├─00实时项目_内容回顾.avi
├─01实时项目_Kafka回顾1.avi
├─02实时项目_Kafka回顾2.avi
├─03实时项目_精准一次性消费.avi
├─04实时项目_手动提交偏移量+幂等性处理分析.avi
├─05实时项目_从Redis中获取偏移量.avi
├─06实时项目_上午内容回顾.avi
├─07实时项目_根据偏移量读取Kafka数据并记录读取到的偏移量.avi
├─08实时项目_保存偏移量到Redis并整体测试.avi
├─09实时项目_幂等性实现.avi
├─10实时项目_利用Kibana创建柱状图.avi
├─11实时项目_Kibana数据可视化.avi
(14)\4.视频\day06；目录中文件数:17个
├─00实时项目_内容回顾.avi
├─01实时项目_接口发布概述.avi
├─02实时项目_数据格式以及访问路径介绍.avi
├─03实时项目_搭建项目结构.avi
├─04实时项目_获取日活总数service接口实现.avi
├─05实时项目_发布日活总数接口.avi
├─06实时项目_获取日活分时值service接口实现.avi
├─07实时项目_发布分时值接口.avi
├─08实时项目_dw_chart可视化调用接口.avi
├─09实时项目_日活内容总结.avi
├─10实时项目_首单分析业务介绍.avi
├─11实时项目_canal工作原理.avi
├─12实时项目_binlog介绍.avi
├─13实时项目_MySQL准备工作.avi
├─14实时项目_canal的安装.avi
├─15实时项目_单机版.avi
├─16实时项目_canal高可用.avi
(15)\4.视频\day07；目录中文件数:12个
├─00实时项目_内容回顾.avi
├─01实时项目_canalODS分析.avi
├─02实时项目_canalODS从kafka读取数据.avi
├─03实时项目_canalODS层实现.avi
├─04实时项目_Maxwell安装.avi
├─05实时项目_Canal和Maxwell对比.avi
├─06实时项目_MaxwellODS层实现.avi
├─07实时项目_是否为首单业务分析.avi
├─08实时项目_Hbase回顾.avi
├─09实时项目_squirrel工具使用.avi
├─10实时项目_封装从Phoenix查询数据的工具类.avi
├─xx实时项目_.avi
(16)\4.视频\day08；目录中文件数:10个
├─00实时项目_内容回顾.avi
├─01实时项目_判断是否首单方案2.avi
├─02实时项目_保存用户状态到Hbase.avi
├─03实时项目_同批次状态修正.avi
├─04实时项目_上午内容回顾.avi
├─05实时项目_首单需求分析.avi
├─06实时项目_省份维度表准备.avi
├─07实时项目_用户维度表准备.avi
├─08实时项目_Maxwell初始化维度数据.avi
├─09实时项目_维度数据初始化测试.avi
(17)\4.视频\day09；目录中文件数:14个
├─00实时项目_内容回顾.avi
├─01实时项目_订单处理类代码回顾.avi
├─02实时项目_订单和省份维度关联方案1.avi
├─03实时项目_订单和省份维度关联方案2.avi
├─04实时项目_订单和用户维度的关联.avi
├─05实时项目_将订单信息保存到ES.avi
├─06实时项目_通过Kibana进行可视化展示.avi
├─07实时项目_上午内容回顾以及后续课程介绍.avi
├─08实时项目_订单明细数据的准备.avi
├─09实时项目_处理商品、品牌、品类、Spu维度数据.avi
├─10实时项目_订单明细和商品宽表进行关联.avi
├─11实时项目_测试各维度数据初始化以及和订单明细的关联情况.avi
├─12实时项目_将订单和订单明细数据写入到Kafka的DWD层.avi
├─13实时项目_定义OrderWideApp讲解双流join概念.avi
(18)\4.视频\day10；目录中文件数:12个
├─00实时项目_内容回顾.avi
├─01实时项目_双流join处理方式1（缓存思路）.avi
├─02实时项目_双流join处理方式2（滑窗+去重）.avi
├─03实时项目_双流join代码实现.avi
├─04实时项目_实付金额分摊思路.avi
├─05实时项目_实付分摊金额思路讲解.avi
├─06实时项目_实付分摊代码实现.avi
├─07实时项目_上午内容回顾.avi
├─08实时项目_实付分摊测试.avi
├─09实时项目_ClickHouse介绍.avi
├─10实时项目_ClickHouse单机安装.avi
├─11实时项目_ClickHouse数据类型.avi
(19)\4.视频\day11；目录中文件数:13个
├─00实时项目_内容回顾.avi
├─01实时项目_表引擎.avi
├─02实时项目_二级索引.avi
├─03实时项目_TTL设置字段或者表生命周期.avi
├─04实时项目_ReplacingMergeTree.avi
├─05实时项目_SummingMergeTree.avi
├─06实时项目_SQL操作.avi
├─07实时项目_副本.avi
├─08实时项目_分片介绍.avi
├─09实时项目_3个分片2个副本集群.avi
├─10实时项目_搭建3个节点的分片集群.avi
├─11实时项目_写入数据到ClickHouse.avi
├─12实时项目_保存测试.avi
(20)\4.视频\day12；目录中文件数:10个
├─00实时项目_内容回顾.avi
├─01实时项目_发布接口架构介绍.avi
├─02实时项目_查询交易额Mapper层处理以及SQL.avi
├─03实时项目_mapper接口以及映射文件的编写.avi
├─04实时项目_service接口以及实现类.avi
├─05实时项目_controller实现及测试.avi
├─06实时项目_上午内容回顾.avi
├─07实时项目_ADS层聚合思路.avi
├─08实时项目_封装从MySQL读数据和偏移量的工具类并将OrderWide数据写回Kafka.avi
├─09实时项目_ADS层写入.avi
(21)\4.视频\day13；目录中文件数:6个
├─00实时项目_发布品牌数据接口.avi
├─01实时项目_DataV数据展示.avi
├─02实时项目_总结（日活）.avi
├─03实时项目_总结（订单）.avi
├─04实时项目_万年分享.avi
├─05实时项目_鸿鹏分享.avi
(22)\2.资料\02-工具\elasticsearch相关；目录中文件数:3个
├─elasticsearch-6.6.0.tar.gz
├─elasticsearch-analysis-ik-6.6.0.zip
├─kibana-6.6.0-linux-x86_64.tar.gz