老男孩倡议共建大数据生态圈
上海学满分 > 学习网 > 电脑IT设计 > 电脑培训 > 老男孩倡议共建大数据生态圈

上海老男孩教育-最新动态NEWS

老男孩倡议共建大数据生态圈

文章导读:老男孩倡议共建大数据生态圈

“21世纪最缺的是什么?人才!”。在大数据发展如此之快的今天,大数据工程师已经成为一个新兴职业。大数据是信息技术,是人和人、人和机器、机器和机器交互的内容特征,是最底层的信息技术,是基本标配。

老男孩倡议共建大数据生态圈

资料整理:上海老男孩教育发布时间:2018-12-23已帮助:399人

详细介绍

   “21世纪最缺的是什么?人才!”。在大数据发展如此之快的今天,大数据工程师已经成为一个新兴职业。大数据是信息技术,是人和人、人和机器、机器和机器交互的内容特征,是最底层的信息技术,是基本标配。今天我们就来看看大数据。

   1、HBase

    是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PCServer上搭建起大规模结构化数据集群。像Facebook,都拿它做大型实时应用。

    2、Hive

    Facebook领导的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计。像一些datascientist就可以直接查询,不需要学习其他编程接口。

  

       3、Pig

    Yahoo开发的,并行地执行数据流处理的引擎,它包含了一种脚本语言,称为PigLatin,用来描述这些数据流。PigLatin本身提供了许多传统的数据操作,同时允许用户自己开发一些自定义函数用来读取、处理和写数据。在LinkedIn也是大量使用。

    4、Cascading/Scalding

    Cascading是Twitter收购的一个公司技术,主要是提供数据管道的一些抽象接口,然后又推出了基于Cascading的Scala版本就叫Scalding。Coursera是用Scalding作为MapReduce的编程接口放在Amazon的EMR运行。

    5、Zookeeper

    一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现。

    6、Oozie

    一个基于工作流引擎的开源框架。由Cloudera公司贡献给Apache的,它能够提供对HadoopMapReduce和PigJobs的任务调度与协调。

    7、Azkaban

    跟上面很像,Linkedin开源的面向Hadoop的开源工作流系统,提供了类似于cron的管理任务。

    8、Tez

  Hortonworks主推的优化MapReduce执行引擎,与MapReduce相比较,Tez在性能方面更加出色。

  想要学习大数据,建议从应用切入、以点带面,先从一个实际的应用领域需求,搞定一个一个技术点,有一定功底之后,再举一反三

  横向扩展,这样学习效果就会好很多。

  

  本文章版权归老男孩教育所有。转载请注明出处。有任何疑问可以随时给我们网站留言。

更多 最新课程学员问答学习资料优惠活动学校地址 等,请点击上海老男孩教育 ,咨询电话: 400-060-0103 ,QQ咨询: 上海老男孩教育为您服务

您也可以留下您的联系电话,课程老师会时间给您回电解答:预约咨询

上海老男孩教育-最新动态 NEWS更多>>

学校首页| 课程导航| 最新开班| 学校简介| 名师推荐| 校区地址| 最新优惠| 学员问答| 学员评价| 最新动态| 学校相册

上海老男孩教育 上海老男孩教育|上海老男孩教育地址|上海老男孩教育费用|上海老男孩教育怎么样

学员 团购预约热线:400-060-0103

扫描手机访问