2分钟读懂大数据框架Hadoop和Spark的异同

谈到大数据,相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。
jopen 6年前    18423   

一个Hadoop老兵的自白

Apache Hadoop 是一个免费软件,但实际上,除非是拥有庞大工程师团队的大公司,否则最好不要去创建仅供内部使用的Hadoop版本,因为如果要购买技术支持,那 Hadoop 就不是免费的了...
jopen 6年前    6478   

Hadoop VS Spark

Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。 HDFS,在由普通PC组成的集群上提供高可靠的文件存储,通过将块保存多...
jopen 6年前    34595   

雅虎如何在Hadoop集群上实现大规模分布式深度学习

过去十年中,雅虎在 Apache Hadoop 集群构建和扩展方面投入了很大的精力。目前,雅虎有 19 个 Hadoop 集群,其中包含 4 万多台服务器和超过 600PB 的存储。他们在这些集...
vgtr 6年前    15225   

Hadoop和大数据:60款顶级大数据开源工具

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用H...
jopen 6年前    46305   

谷歌推出Dataproc,让Spark、Hadoop更便宜更快更简单

近日,谷歌 发布 了Google Cloud Dataproc服务Beta测试版。Cloud Dataproc是一个托管的Spark与Hadoop服务,可以帮助用户快速创建集群、简化集群管理及降...
jopen 6年前    8859   

Hunk/Hadoop: 性能最佳实践

无论有没有使用Hunk,当运行Hadoop时,有很多种方式导致偶尔的性能底下。多数时候人们是增加更多的硬件来解决问题,但是有时候只需要简单更改下文件的名称就可以解决问题。
jopen 6年前    5966   

hadoop家族介绍

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表...
jopen 6年前    28652   

15种最佳方式帮你顺利掌握Hadoop技术

在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前,让我们首先搞清楚另一个问题:大数据Hadoop到底是什么?简单来 讲,Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌...
jopen 6年前    11542   

60款与Hadoop和大数据相关的顶级开源工具

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用H...
jopen 6年前    60740   

Spring for Apache Hadoop 2.3 M1 发布

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如...
jopen 6年前    11452   

王团结:如何用Hadoop/Spark构建七牛数据平台

继“ YARN or Mesos?Spark痛点探讨 ”、“ Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择 ”之后,CSDN Spark微信用户...
jopen 6年前    15456   

Hadoop 的生态系统

在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop ...
jopen 6年前    13930   

飞起来的大象:Hadoop从离线到在线

科技在进步,市场在变化,软硬件条件突飞猛进般发展的同时,企业的需求也不断升级。例如从离线到在线的转变,规模效应的需求,更低的成本需求都刺激着Hadoop生态圈的进步和壮大。
jopen 6年前    24766   

梁堰波:主流SQL on Hadoop框架选择

在昨日(7月23日)的CSDN Spark微信群中,明略数据梁堰波就主流的SQL on Hadoop框架进行了深入分析,在给出了选择建议后并与用户进行了40分钟的互动与交流。
mf7x 6年前    26619   

Spark 和 Hadoop 是朋友不是敌人

IBM 宣布计划大规模投资 Spark 相关技术,此项声明会促使越来越多的工程师学习 Spark 技术,并且大量的企业也会采用 Spark 技术。
jopen 6年前    17287   

将Hadoop作为云托管服务的优劣势分析

云端Hadoop又叫Hadoop即服务(HaaS),这是平台即服务(PaaS)的一个子类。 Apache Hadoop是一种开源软件框架,能够对分布式集群上的大数据集进行高吞吐量处理...
jopen 6年前    17533   

贾扬清:希望Caffe成为深度学习领域的Hadoop

在深度学习(Deep Learning)的热潮下,Caffe作为一个高效、实用的深度学习框架受到了广泛的关注。了解Caffe研发的背景、愿景、技术特色、路线图及其开发 者的理念,对于我们选择合适...
jopen 6年前    40649   

破解迷雾:关于大数据与Hadoop的九大误区

这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面,盲目偏信只会将大家引入歧途。
jopen 6年前    11979   

hadoop 2.7.0版本发布

adoop 2.7.0已经发布,在这个版本中 ,包含几个非常重要的功能。
jopen 6年前    7353   
1 2 3 4 5 6 7

热门问答

热门文档