课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 区块链、大数据项目讲师, Java开发、10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 擅长领域 区块链、 大数据:Hadoop、Spark等, 10余年软件研发及企业培训经验,丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。 为中石化,中国联通,中国移动等知名企业提供企业培训服务。

  • 课程详情

    课程咨询QQ 613385945

    spark案例
     此案例会从三个方面讲解,收集数据,数据分析,数据展示。
     网站怎么收集日志到hadoop和hive里面,然后怎么通过sparkhive进行分析,最终展示到html页面里面
     

    1.通过美团,饿了吗介绍整体大数据架构,结构图,以及公司里面常用的统计标准,比如pv uv,session等等

    2.环境搭建
      安装hadoop
      安装hive包
      安装zookeeper
      安装kafka
      安装flume
      安装spark

    3.演示如何在nginx手机日志

      1.安装ngnix
      2.网站js的收集
      3.手机端怎么收集数据

    4.代码实战spark程序处理session
      1.对用户访问session进行分析
      2.在实际企业项目中的使用架构
      3.基础数据设计


    5.  业务需求
       1技术方案的设计
       2数据库表的设计
       

    6.代码实战篇-基础篇
       1. 通过eclipse创建maven项目
       2.修改pom文件
       3.开发配置管理组件
       4.JDBC原理增删该查
       5.数据库连接池
       6.DAO写法
       7.工厂模式
       8.json解析

    7.代码实战篇-中级篇
       1.按session粒度进行数据聚合
       2.按筛选参数对session粒度聚合数据进行过滤
       3.3session聚合统计之自定义Accumulator


    8.对重构数据进行过滤统计
      统计各个占比保存到mysql中

    9.通过php读取mysql展示出来

    10.对项目总结








     
    温馨提示
    • 请勿私下交易
      请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
    • 听课说明

      1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课

      2、手机/平板:下载腾讯课堂APP, 进入学习页面听课