BD211:企业级大数据技术与应用

开班计划时间:18 小时
上课地点 上课方式 预计上课时间
北京 线下面授
2020/4/7、8、9
广州 线下面授
2019/12/19、20、21
深圳 线下面授
2020/2/21、22、23
预约试听 马上咨询
课程介绍
适用对象:对大数据、分布式存储分析等感兴趣的朋友;云计算、大数据从业者; 熟悉Hadoop生态体系,想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友; 系统架构师、系统分析师、高级程序员、资深开发人员; 牵涉到大数据处理的数据中心运行、规划、设计负责人; 政府机关,金融保险、移动互联网等大数据单位的负责人。
学习收获:1. 了解大数据业内最新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统 2. 深入学习yarn 框架下的MapReduce,掌握MapReduce研发 3. 掌握HDFS 开发 4. 了解Hadoop集群规划,应用案例解析 5. 列式数据库HBase的基本原理,应用场景,掌握基本的编程技巧 6. 学习掌握 Hive工具 , 分布式协调系统Zookeeper的基本原理,应用场景,掌握基本的编程技巧 7. 掌握Spark技术 8. 掌握Impala 9. 掌握相关的大数据核心组件
详细大纲
1 大数据概念及行业应用
1.1 大数据基本概念
1.1.1 什么是大数据
1.1.2 为什么需要大数据
1.1.3 如何理解大数据架构
1.1.4 大数据关键技术介绍
1.1.5 大数据库关注的四项技术
1.1.6 大数据时代数据库技术的发展
1.1.7 大数据关键技术的应用场景
1.1.8 典型的大数据平台架构实现
1.2 电信运营商大数据
1.2.1 运营商面对的大数据
1.2.2 运营商大数据在哪里
1.2.3 运营商面临的大数据挑战
1.2.4 运营商大数据建设理念
1.3 商业大数据的行业应用
1.3.1 大数据在互联网的应用
1.3.2 大数据运营商的应用
1.3.3 大数据在金融行业中的应用案例
1.4 业界常用大数据平台介绍
1.4.1 Apache Hadoop
1.4.2 Cloudera
1.4.3 Hortonworks
1.4.4 Oracle Exdata
1.4.5 IBM Biginsight
1.4.6 华为 FusionInsight
2 HDFS分布式文件系统与MapReduce技术原理与应用
2.1 HDFS技术原理和功能架构
2.1.1 HDFS概述及行业应用
2.1.2 HDFS在Hadoop中的位置
2.1.3 HDFS的系统架构
2.1.4 HDFS的设计目标
2.1.5 HDFS的高可用机制
2.1.6 HDFS的副本机制
2.1.7 HDFS的元数据持久化机制
2.1.8 HDFS的数据输入输出方式
2.1.9 HDFS的数据存储机制
2.1.10 HDFS支持的接口
2.2 HDFS的安装和部署
2.2.1 HDFS的部署规划
2.2.2 HDFS的组网方法与原则
2.2.3 HDFS的部署原则及约束
2.2.4 HDFS的多种部署方式
2.2.5 HDFS常用参数及配置建议
2.3 HDFS运维管理
2.3.1 HDFS的目录结构
2.3.2 HDFS的服务检查
2.3.3 HDFS日志结构与作用
2.3.4 HDFS常用维护命令
2.3.5 HDFS健康检查关键指标
2.3.6 HDFS常见问题及定位方法
2.4 MapReduce & Yarn 计算框架
2.4.1 MapReduce和Yarn技术原理
2.4.2 MapReduce的功能与定义
2.4.3 MapReduce的应用场景
2.4.4 Yarn的定义及产生背景
2.4.5 Yarn在计算框架中的定位
2.4.6 MapReduce的计算过程
2.4.7 Yarn的框架与通信
2.4.8 使用Yan进行资源管理和任务调度
2.4.9 MapReduce & Yarn常用参数配置
2.4.10 运行一个MapReduce程序
2.4.11 MapReduce&Yarn的目录结构
2.4.12 MapReduce&Yarn的服务检查
2.4.13 MapReduce&Yarn常用维护命令
2.4.14 MapReduce&Yarn健康检查关键指标
3 HBase分布式数据库及Zookeeper集群分布式协调服务技术应用
3.1 HBase技术原理
3.1.1 HBase的功能与架构
3.1.2 HBase的技术原理
3.1.3 HBase与关系数据库的比较
3.1.4 HBase的应用场景
3.1.5 HBase在产品中的定位
3.1.6 HBase的应用场景
3.1.7 HBase的数据存储
3.1.8 HBase的输入输出流程
3.2 HBase的安装与配置
3.2.1 HBase的部署规划
3.2.2 HBase的部署方法
3.2.3 HBase的监控方法
3.2.4 HBase的灾备配置
3.3 HBase的运维管理
3.3.1 HBase的目录结构
3.3.2 HBase的日志与作用
3.3.3 HBase的常用维护命令
3.3.4 HBase的参数配置
3.3.5 HBase的性能优化
3.3.6 HBase的备份与恢复
3.3.7 HBase的健康检查
3.3.8 HBase常见问题及定位方法
3.4 Zookeeper技术架构
3.4.1 Zookeeper的功能与架构
3.4.2 Zookeeper的技术原理
3.4.3 Zookeeper的关键特性
3.4.4 Zookeeper与组件之间的关系
3.5 Zookeeper的安装与配置
3.5.1 Zookeeper的部署规划
3.5.2 Zookeeper的部署方法
4 Hive数据仓库工具与实时查询Impala的技术与应用
4.1 Hive技术架构
4.1.1 Hive的功能与架构
4.1.2 Hive在大数据平台产品中的位置
4.1.3 Hive的优缺点
4.1.4 Hive的应用场景
4.1.5 Hive与传统数据仓库的比较
4.1.6 Hive的数据存储结构
4.1.7 Hive的权限管理
4.2 Hive的安装与配置
4.2.1 Hive的部署规划
4.2.2 Hive的部署的关键参数配置
4.2.3 Hive的备份与恢复操作
4.2.4 Hive的监控配置
4.3 Hive的运维管理
4.3.1 Hive的目录结构介绍
4.3.2 Hive的常用维护命令
4.3.3 Hive的参数含义与配置
4.3.4 Hive的性能优化
4.3.5 Hive常见问题及定位方法
4.4 Spark技术架构
4.4.1 Spark的功能与架构
4.4.2 Spark的技术原理
4.4.3 Spark与Hadoop的异同点
4.4.4 Spark的应用场景
4.5 Spark安装配置
4.5.1 Spark的部署规划
4.5.2 Spark的部署原则与约束
4.5.3 Spark的关键参数与配置
4.5.4 Spark客户端工具的使用
4.5.5 在Spark上运行Scala程序
4.6 Spark运维管理
4.6.1 Spark的目录结构
4.6.2 Spark的相关进程
4.6.3 Spark日志目录结构
4.6.4 使用开发工具测试Spark
4.6.5 Spark常见问题及定位方法
5 大数据其他相关技术
5.1 Sqoop数据转换技术架构
5.1.1 Sqoop的功能与架构
5.1.2 Sqoop的技术原理
5.1.3 Sqoop的应用场景
5.2 Solr数据搜索技术架构
5.2.1 Solr的功能与架构
5.2.2 Solr的技术原理
5.2.3 Solr的关键特性
5.2.4 Solr的应用场景
5.3 Storm流式计算技术架构
5.3.1 Storm的功能与架构
5.3.2 Storm的技术原理
5.3.3 Storm的关键特性
5.3.4 Storm的应用场景
5.4 Storm的安装与配置
5.4.1 Storm的部署规划
5.4.2 Storm的安装部署
5.5 Storm的运维管理
5.5.1 Storm的常用维护命令
5.5.2 Storm的参数配置
5.5.3 Storm的性能优化
5.5.4 Storm常见问题及定位方法
5.6 Oozie工作流引擎技术架构
5.6.1 Oozie的功能与架构
5.6.2 Oozie的技术原理
5.6.3 Oozie的关键特性
5.6.4 Oozie的应用场景
课程评价

课程评价({{EvaluationTotal}})

课程满意度

评价

您还没有给课程评分哦

满意度

    追加评价:

课程咨询
内容:

您还没有填写内容!

暂无问答,赶紧去提问吧
{{item.AnswerState==1?"已解决":"未解决"}}
{{item.Content}}
{{item.StudentAskTime}}
{{itemanswer.UserName}}
{{itemanswer.Content}}
{{itemanswer.StudentAskTime}}
同类课程推荐 more
嘉为大讲堂 more
原创文章 more

您好! 欢迎来到学领未来 !

学领未来提供线上及线下的学习服务,根据您的位置,为您推荐最近的线下培训地点 分站,你选择:

胜负彩18139期任九开奖 平安县| 淄博市| 贡山| 淮北市| 丰镇市| 武冈市| 齐齐哈尔市| 嵩明县| 体育| 石柱| 岳阳市| 绥芬河市| 泰来县| 颍上县| 兴化市| 庆阳市| 天等县| 京山县| 武邑县| 社旗县| 紫阳县| 华容县| 福安市| 成武县| 西充县| 剑河县| 绿春县| 阳春市| 夹江县| 新乡县| 湟源县| 英德市| 平武县| 乌拉特后旗| 山东| 定襄县| 新巴尔虎左旗| 芜湖市| 珲春市| 赫章县| 民勤县| 麦盖提县| 安新县| 凉城县| 年辖:市辖区| 获嘉县| 海安县| 江西省| 旬阳县| 泗阳县| 合肥市| 石棉县| 武安市| 肇州县| 绥芬河市| 四川省| 大渡口区| 开封市| 肇东市| 新晃| 武胜县| 河津市| 贡嘎县| 瓦房店市| 临城县| 子长县| 象山县| 沐川县| 务川| 威信县| 共和县| 泽普县| 镇远县| 临清市| 炎陵县| 宜都市| 舟山市| 上思县| 图片| 西城区| 分宜县| 且末县| 七台河市| 延津县| 丽水市| 阿拉善盟| 怀仁县| 阿图什市| 安龙县| 宁海县| 博湖县| 宁阳县| 长治县| 肥西县| 龙山县| 桃园市| 南开区| 黑山县| 大庆市| 宣城市| 台安县| 英吉沙县| 阿拉善左旗| 明光市| 逊克县| 从江县| 磐安县| 佛坪县| 奉化市| 札达县| 宜兴市| 芦溪县| 会理县| 岳普湖县| 苏尼特右旗| 莱芜市| 凌源市| 卓尼县| 那坡县| 新丰县| 肇州县| 巧家县| 响水县| 若羌县| 铁力市| 平果县| 喀什市| 拜泉县| 肥城市| 石门县| 宣恩县| 青河县| 米泉市| 子洲县| 兴安县| 扬中市| 高碑店市| 清镇市| 五大连池市| 鄂托克旗| 年辖:市辖区| 宜都市| 陇西县| 车险| 都安| 定兴县| 泗水县| 信丰县| 招远市| 敦化市| 普陀区| 寿光市| 信阳市| 葵青区| 理塘县| 新巴尔虎右旗| 班玛县| 灌云县| 遂川县| 富源县| 介休市| 鹤岗市| 通榆县| 舞钢市| 河南省| 滨州市| 锡林浩特市| 象山县| 延边| 滨州市| 苗栗市| 东明县| 红原县| 江城| 同仁县| 花莲市| 天水市| 恭城| 砚山县| 九龙坡区| 洪江市| 嘉兴市| 武乡县| 策勒县| 福州市| 自治县| 玉树县| 和顺县|