课程咨询QQ 613385945
spark案例
此案例会从三个方面讲解,收集数据,数据分析,数据展示。
网站怎么收集日志到hadoop和hive里面,然后怎么通过sparkhive进行分析,最终展示到html页面里面
1.通过美团,饿了吗介绍整体大数据架构,结构图,以及公司里面常用的统计标准,比如pv uv,session等等
2.环境搭建
安装hadoop
安装hive包
安装zookeeper
安装kafka
安装flume
安装spark
3.演示如何在nginx手机日志
1.安装ngnix
2.网站js的收集
3.手机端怎么收集数据
4.代码实战spark程序处理session
1.对用户访问session进行分析
2.在实际企业项目中的使用架构
3.基础数据设计
5. 业务需求
1技术方案的设计
2数据库表的设计
6.代码实战篇-基础篇
1. 通过eclipse创建maven项目
2.修改pom文件
3.开发配置管理组件
4.JDBC原理增删该查
5.数据库连接池
6.DAO写法
7.工厂模式
8.json解析
7.代码实战篇-中级篇
1.按session粒度进行数据聚合
2.按筛选参数对session粒度聚合数据进行过滤
3.3session聚合统计之自定义Accumulator
8.对重构数据进行过滤统计
统计各个占比保存到mysql中
9.通过php读取mysql展示出来
10.对项目总结
课程介绍
课程目录
往期学员作品
用户评论
课程介绍
课程目录
往期学员作品
用户评论
你将获得
- 掌握某些知识点
- 学会某些技巧(或思路)
教学服务
1v1专属答疑服务
BAT专家面试辅导
讲师介绍
追逐
区块链、大数据项目讲师, Java开发、10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 擅长领域 区块链、 大数据:Hadoop、Spark等, 10余年软件研发及企业培训经验,丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。 为中石化,中国联通,中国移动等知名企业提供企业培训服务。
区块链、大数据项目讲师, Java开发、10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 擅长领域 区块链、 大数据:Hadoop、Spark等, 10余年软件研发及企业培训经验,丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。 为中石化,中国联通,中国移动等知名企业提供企业培训服务。
课程详情
温馨提示
- 请勿私下交易请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
- 听课说明
1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课
2、手机/平板:下载腾讯课堂APP, 进入学习页面听课