为什么说Hadoop是一个生态系统?

为什么说Hadoop是一个生态系统?
问在线客服
扫码问在线客服
  • 回答数

    2

  • 浏览数

    1,621

2个回答 默认排序
  • 默认排序
  • 按时间排序

目前经过多年的发展,Hadoop已经形成了一个比较成熟的生态系统,原因主要集中在三个方面,其一是Hadoop自身已经构建起了一整套解决方案;其二是Hadoop自身能够完成价值增量;其三是Hadoop为大数据技术体系奠定了一定的基础。为什么说Hadoop是一个生态系统?

虽然Hadoop本身是一个开源框架,但是围绕Hadoop平台已经打造了一整套解决方案,这些解决方案涉及到数据的存储(HDFS)、分布式计算、数据同步、数据查询、数据分析、数据呈现等一系列内容,可以说当前的Hadoop平台已经比较完善了。

虽然Hadoop自身是非商业系统,但是Hadoop平台目前的落地应用案例已经比较多了,而且能够为用户形成价值增量,这是Hadoop形成自身生态的关键点。目前基于Hadoop的大数据应用开发已经遍布多个行业领域,涉及到金融、医疗、交通等。

目前行业领域内有不少商用的大数据平台正是基于Hadoop打造的,这也在一定程度上说明了Hadoop平台的稳定性和扩展性都是比较强的,而且基于Hadoop平台打造的大数据应用产品也可以广泛部署在其他商业大数据平台上,这使得Hadoop已经成为了一种大数据开发领域的标准,这进一步巩固了Hadoop的应用地位。

虽然目前Hadoop得到了广泛的应用,而且Hadoop生态也越来越完善,但是Hadoop自身的可用性也有待提高,毕竟对于行业企业来说,直接采用Hadoop作为大数据平台还是相对比较麻烦,对于开发人员的要求也相对比较高。相比于Hadoop来说,Spark平台要更“轻”一些,所以目前很多大数据应用也会更倾向于采用Spark平台。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!

取消 评论

Hadoop 本身是一款开源大数据组件,它包括三个部分:MapReduce计算模型、HDFS 分布式文件系统、Yarn 资源管理系统。像现在其他 Hadoop 相关的大数据组件,比如HBase、Hive等,因为这些组件底层其实还是依赖 Hadoop 系统的功能模块来进行实现的,没有完全脱离于 Hadoop 系统单独形成一个开源组件。所以整体 Hadoop 生态系统包含很多大数据组件。

为什么说Hadoop是一个生态系统?

比如像 HBase NoSQL 数据库的实现,最底层是以 HFile 文件进行存储,而 HFile 文件是在 HDFS 上面进行存储。HBase 整体上理解可以认为是一个基于 Hadoop HDFS 分布式文件系统的一个数据库。使用 HDFS 分布式文件系统进行存储时,因为 HDFS 本身具有分区容错性,同时HDFS 文件系统是分布式的,未来在机器扩容时,也非常方便。

现在其实也有很多分布式计算引擎也属于 Hadoop 生态系统,比如 Spark ,Storm等。公司其实为了大数据技术的收敛,一般都会统一来使用 Yarn 资源管理器来管理和调度集群的资源,而很多 Spark 任务、Storm 任务也支持在 Yarn 上面进行运行,而 Yarn 资源管理器又属于 Hadoop 本身的一个模块,所以它们属于 Hadoop 生态系统的一员。

虽然 Hadoop 生态系统有很多大数据组件,但是新人在学习入门的时候,我建议还是先从 Hadoop 底层的原理和 Hadoop API 的使用进行入手,先去了解一下 Hadoop 到底是一个什么样的大数据组件,它包含了哪些,它的功能是什么等等。我建议可以先从《Hadoop权威指南》这本书开始看起。

如果书确实看不懂的话,可以去网上看一些 Hadoop 的技术博客,有些技术博客比书本要讲解的清楚,同时,你也可以从网上下载 Hadoop 相关的视频来进行学习,想入门大数据的朋友,我推荐先从 Hadoop 入手。

为什么说Hadoop是一个生态系统?

我是Lake,专注大数据技术原理、人工智能、数据库技术、程序员经验分享,如果我的问答对你有帮助的话,希望你能点赞关注我,感谢。

我会持续大数据、数据库方面的内容,如果你有任何问题,也欢迎关注私信我,我会认真解答每一个问题。期待您的关注

取消 评论

您可以邀请下面用户,快速获得回答

加载更多答主

ZOL问答 > 其他软件 > Intel其他软件 > intel Hadoop发行版2 > 为什么说Hadoop是一个生态系统?

相关产品

  • intel Hadoop发行版2

    intel Hadoop发行版2

    参考价:¥9008    评分:-

    热门排行榜:第14名

  • 京东搜一搜

举报

感谢您为社区的和谐贡献力量请选择举报类型

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

为什么说Hadoop是一个生态系统?

点击可定位违规字符位置
提示

确定要取消此次报名,退出该活动?