Hadoop关键技术 Spark内存计算框架_赵卫东_企业内训课程

Hadoop关键技术 Spark内存计算框架

培训讲师：赵卫东

讲师背景：
新技术新趋势专家—赵卫东（博士/副教授）【背景介绍】复旦大学软件学院副教授对外贸易大学大学MBA班讲师江南大学MBA讲师SAP大学联盟培训讲师【实战经验】在复旦大学软件学院,主要研究商务智能和大数据技术与应用。主要负责电子商务、大数据核心技详细>>

下载需求表打印本课程填写需求表在线咨询

课程咨询电话：

Hadoop关键技术 Spark内存计算框架详细内容

Hadoop关键技术 Spark内存计算框架

Hadoop关键技术与Spark内存计算框架
本课程将介绍目前大数据的核心技术和应用实例，并以实践操作和项目式教学的方式着重讲解Hadoop和Spark的基本原理和应用。
一、Hadoop关键技术
学习如何安装运行各种大数据软件以及如何进行初级编程实践，包括Hadoop、HDFS、MapReduce等安装、操作和编程。其中会介绍一些Hadoop的应用案例，并通过一些实验初步了解Hadoop的操作。
第1章　Hadoop概论1.1　缘于搜索的Hadoop1.1.1　Hadoop简介1.1.2　Hadoop发展1.2　大数据、Hadoop的关系1.3　Hadoop设计思想与架构1.3.1　数据存储与切分1.3.2　MapReduce模型1.3.3　MPI和MapReduce第2章　Hadoop存储系统2.1　基本概念2.1.1　NameNode2.1.2　DateNode2.1.3　客户端2.1.4　块2.2　HDFS的特性和目标2.2.1　HDFS的特性2.2.2　HDFS的目标2.3　HDFS架构2.3.1　Master/Slave架构2.3.2　NameNode和Secondary NameNode通信模型2.3.3　文件存取机制2.4　HDFS核心设计2.5　HDFS权限管理第3章　HDFS的使用3.1　HDFS环境准备3.2　HDFS命令的使用3.3　HDFS Java API的使用方法第4章　MapReduce计算框架4.1　Hadoop MapReduce简介4.2　MapReduce模型4.2.1　MapReduce编程模型4.2.2　MapReduce实现原理
第5章　Hadoop命令系统5.1　Hadoop命令系统的组成5.2　用户命令
第6章　Hadoop作业调度系统6.1　作业调度概述6.1.1　相关概念6.1.2　作业调度流程6.1.3　集群资源组织与管理6.1.4　队列控制和权限管理6.1.5　插件式调度框架
第7章　Hadoop集群搭建7.1　Hadoop版本的选择7.2　集群基础硬件需求7.3　安装Hadoop实验
实验一：熟悉常用的 Linux 操作和 Hadoop 操作
实验二：熟悉常用的 HDFS 操作
实验三：熟悉常用的 HBase 操作
实验四：NoSQL 和关系数据库的操作比较
实验五：MapReduce 初级编程实践
二、Spark内存计算框架
介绍为什么会出现Spark？Spark是什么？Spark能做什么？还有Spark安装、使用以及编程基础，并初步了解Spark SQL等核心技术。其中穿插一些Spark的典型应用案例，并通过动手实验初步体验Spark的应用。
第8章 Spark概述8．3．1 Spark的出现与发展8．3．2 Spark协议族8．3．3 Spark的应用及优势第9章 Spark原理9．1 Spark工作原理9．2 Spark架构及运行机制9．2．1 Spark系统架构与节点角色9．2．2 Spark作业执行过程9．2．3 应用初始化9．2．4 构建RDD有向无环图9．2．5 RDD有向无环图拆分
第10章 RDD算子10．1 创建算子10．1．1 基于集合类型数据创建RDD10．1．2 基于外部数据创建RDD10．2 transformation变换算子10．2．1对Value型RDD进行变换10．2．2对Key/ Value型RDD进行变换10.3 action行动算子10．3．1 数据运算类行动算子10．3．2 存储型行动算子
第11章安装和使用Spark11．1 安装Spark11．2 编写和运行Spark程序实验：
实验1：Linux系统基本命令和Hadoop使用方法
实验2：RDD基本操作
实验3：迭代式算法编程实践
实验4：自定义分匙、排序、合并
实验5：利用DataFrame实现数据库的读写
实验 6：利用 Spark Streaming 实现流数据处理

赵卫东老师的其它课程

大数据平台运维管理 06.03

大数据平台运维管理1.运维监控系统的设计1.1基于ISO/IEC20000和ITILv3理论1.2遵循ITSS、GB/T28827-2012系列运行维护服务国家标准2.建立集成化的资源运行状态监控管理系统2.1平台运行状态和信息化资源的统一化、可视化、可控化管理2.2基于资源的统一化管理2.3面向基础资源和面向业务应用两个层面的监控3.服务运行监控管理3.1

讲师：赵卫东详情

银行数据应用实践课程大纲（3-4天） 06.03

银行数据应用实践课程大纲培训天数:3‐4日1.银行数据应用的问题•互联网金融尤其依赖数据 •金融业本身就是基于数据与信息的产业•数据分析推动了银行的转型与创新 •未来互联网银行模式 •传统银行与互联网金融的结合 •目前的问题:数据特点与组成 数量不够大;维度不够多 核心数据、外围数据、常规渠道的数据、社会化的数据等技术不足 互联网的流行使

讲师：赵卫东详情

智慧营销 06.03

智慧营销1.智慧商务的发展-智能技术前沿-认知计算2.新时代的客户管理2.0-客户的个性化需求-客户智能-工业4.0与C2B商业模式3.商务智能与营销智慧-业务分析与优化-营销智能-数字营销4.智慧营销的挑战-客户洞察-精准营销-一对一营销5.智慧营销中的数据分析技术-电子推荐技术-大数据技术-文本挖掘技术（社会关系网络营销）-数据驱动的电商客户分析-IBM

讲师：赵卫东详情

智能机器人 06.03

智能机器人培训大纲此部分内容从人工智能的起源和发展谈起，分析人工智能技术在智能机器的典型应用，并结合很多具体的应用案例，说明智能机器的核心技术及其应用。人工智能和智能机器人工智能的起源与发展人工智能/机器学习/深度学习认知科学的发展人工智能的广泛应用无人驾车棋类竞技推荐系统自然语言处理图像识别文本语义处理各类机器人逐步实用化智能机器的兴起个人信息助手智慧家居

讲师：赵卫东详情

智能时代运营商大数据之路 06.03

智能时代：运营商大数据之路运营商数据概述运营商与传统互联网数据比较移动大数据运营商大数据优势运营商开放的数据产品征信产品行业洞察和指数类产品APP指数旅游指数沃信指数互联网广告与精准营销运营商客户分群客户标签体系行业标签产品运营商目标营销与电子推荐运营商大数据产品解析数据源大数据基础平台架构大数据应用实时用户行为分析运营商大数据可视化运营商大数据安全管理运营

讲师：赵卫东详情

智能制造工业大数据 06.03

智能制造工业智能大数据【课程目标】大数据时代已经来临，大数据战略已经上升到国家意志，拥有大数据的规模和利用大数据的能力已经成为国家竞争力的一种体现，大数据的重要性已经毋庸置疑。本课程围绕大数据产业，从大数据的基本面出发，到大数据应用价值；从大数据的发展现状，到行业发展趋势及大数据市场预测；从大数据的商业模式，再到大数据的战略和大数据思维。并重点探讨了智能制造

讲师：赵卫东详情

人工智能-机器人培训 06.03

解构新型产业推动园区发展——人工智能+机器人第一部分未来三年人工智能发展趋势与产业格局1.驱动人工智能发展的动因海量数据为人工智能发展提供燃料计算力的提升大幅推动人工智能发展深度学习突破人工智能算法瓶颈政策利好使人工智能发展如火如荼2.人工智能产业链构成人工智能在各细分领域创业的热度自动驾驶领域迎来创业热潮产业链的组成：基础支撑层.技术应用层和方案集成层3.

讲师：赵卫东详情

人工智能培训纲要 06.03

人工智能（3天）客户对人工智能的需求：行业大发展人工智能的发展人工智能的内涵人工智能的分类人工智能企业的主要应用领域人工智能的行业发展分析驱动人工智能发展的动因中国制造助理人工智能互联网+促进人工智能发展人工智能发展规划2.技术框架硬件架构：引领场景通用AI时代主流的人工智能开源框架3.图像处理图像理解图像识别图像分类及检索（SVM或者CNN）人脸识别技术及

讲师：赵卫东详情

深度学习 06.03

深度学习深度学习DeepLearning基础和基本思想1.人工智能概述、计算智能、类脑智能3.机器学习概述、记忆学习、归纳学习、统计学习4.深度学习的前生今世、发展趋势5.人工神经网络、前馈神经网络、BP算法、Hessian矩阵、结构性特征表示深度学习DeepLearning基本框架结构1.Caffe 2.Tensorflow3.Torch

讲师：赵卫东详情

深度学习核心技术应用与实战 06.03

深度学习培训大纲时间安排课程内容第一天上午：机器学习基础1.1、线性代数1）矩阵运算2）向量运算3）SVD4）PCA）1.2、概率信息论概论分布2）期望、方差、协方差3）贝叶斯4）结构概论模型）1.3、数值优化：深度学习基础2.1、深度学习介绍1）发展历史2）主要应用2.2、感知器2.3、人工神经网络2.4、前馈神经网络2.5、BP算法2.6、Hessian