Hadoop MapReduce下一代 - 命令行Mini集群 经验

个单节点的Hadoop集群,不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要快速体验一个真实的Hadoop集群或者测试一个没有java程序的功能。

jopen 2014-10-31   13426   0

使用 Azure、Hadoop 和 Mahout 构建一个推荐系统 经验

用提取的信息建立一个推荐 但是,一切从基础开始!如果你是第一次接触Apache Hadoop和Azure上的Hadoop, 我建议你在开始之前阅读这些介绍性的文章 ,在我介绍HDInsight和Map

jopen 2013-07-17   33383   0
Hadoop   Mahout  

Hadoop数据细粒度的、基于角色的认证功能:Apache Sentry 经验

是一个高度模块化的系统。它为存储在Apache Hadoop集群中的数据和元数据提供了细粒度的、基于角色的认证功能。 Hadoop生态圈中的项目有着各自不同的、需要单独配置的认证系统。Hadoop的灵活性使得生态圈中不同的项目(如Hive、Solr、

jopen 2014-08-24   13274   0

淘宝Hadoop作业平台:宙斯Zeus 经验

宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说,支持: Hadoop MapReduce任务的调试运行

jopen 2013-05-03   48614   0

Hadoop环境搭建过程中可能遇到的问题 经验

lusterID不一致,导致集群启动时,hadoop会杀死从节点的datanode进程。 解决方案: a) 将集群关闭; b) 删除你在hadoop配置中设置的tmp下的data和name中的内容(每一个节点都要做这个操作)

jopen 2015-06-08   11851   0

MapReduce-Hadoop分布式计算模型 经验

序列化就是把结构化的对象转化为字节流。 反序列化就是把字节流转回结构化对象。 hadoop中的Partitioner分区 Hadoop中的MapReduce支持对key进行分区,从而可以使map出来的数据均匀分布在reduce上。

nbd2 2015-07-14   38345   0

Hadoop中新型大数据查询引擎:Apache Calcite 经验

Apache Calcite 是面向Hadoop新的查询引擎,它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力,除此之外,Calcite还提供了OLAP和流处理的查询引擎。正是有了这些诸多

jopen 2015-09-17   48869   0

hadoop2.6.0 在64位CentOS 6.4系统上的编译 经验

直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for

jopen 2015-12-31   8186   0

hadoop集群ambari搭建(1)之ambari-server安装 经验

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 H

jopen 2016-01-18   60642   0

大数据领域开源技术 除了Hadoop你还知道哪些 经验

中该如何抉择?本文中大数据领域的十个巨头,将有助于你更深入掌握大数据这个行业的发展形势。 Hadoop——高效、可靠、可伸缩,能够为你的数据存储项目提供所需的YARN、HDFS和基础架构,并且运行主要的大数据服务和应用程序。

黄色腾堡 2016-09-29   12525   0

Hadoop和数据库数据迁移工具 Apache Sqoop 1.4.2 发布 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

openkk 2012-08-24   12308   0
Hadoop  

VMware发布Serengeti项目,支持云中部署Hadoop 资讯

虚拟和云环境中快速部署、管理和扩展Apache Hadoop。此外,VMware与Apache Hadoop社区共同合作研发扩展功能,让主要组件可以“感知虚拟化”以支持灵活扩展,并进一步提高Hadoop在虚拟化环境中的性能。

openkk 2012-06-15   17172   1
Hadoop  

在生产环境中使用 Hadoop, HBase 和 Hive 的英文视频 资讯

本讲座讨论了Hadoop的HBase和Hive在现实世界中的生产用例。每个系统的特点,解释他们如何可以一起使用,以及建立大规模数据基础设施的实时应用程序和数据仓库之间的糊模界线。

jopen 2012-09-25   18864   0
Hadoop   HBase   Hive  

Hortonworks宣布一款Hadoop数据平台 资讯

于2011年7月联合创建,宣布了一款基于 Hadoop 的 数据平台 的 技术预览版 。该公司雇佣了众多 Hadoop 项目的核心人员欲以提供相应的支持和培训。 仅在 IBM 宣布 了基于 Hadoop 的大数据分析平台

openkk 2011-11-06   12989   1
Hadoop  

戴尔推出打包式Hadoop开源数据服务器 资讯

8月5日消息,据国外媒体报道,随着 Apache Hadoop 在数据分析领域逐渐得到认可,戴尔开始出售预装该开源数据处理平台的服务器。 戴尔云营销总监Joseph George指出,该产品包基于

fmms 2011-08-04   6648   0

别老扯什么Hadoop了,你的数据根本不够大 资讯

英文原文: Don't use Hadoop when your data isn't that big ” 作者: Chris Stucchio 有着多年从业经验的数据科学家,纽约大学柯朗研究所

jopen 2013-09-18   18940   0
Hadoop  

Hadoop供应商Hortonworks获得1亿美金D轮融资 资讯

据 Gigaom 消息 ,Hadoop 软件供应商 Hortonworks 获得 1 亿美金 D 轮融资,由黑石领投,雅虎、Benchmark 等参投。目前 Hortonworks 的总融资已达到 1

jopen 2014-03-26   7994   0
Hadoop  

基于Hadoop的RDF大数据集处理框架,Infovore t20140107 发布 资讯

map/reduce 框架用于处理 RDF大数据集比如 Freebase 和 DBpedia。它基于Hadoop实现。 发布说明: 这次发布包含了一个Haruhi flows foreach loo

jopen 2014-01-07   8582   0

2014年值得关注的十个Hadoop大数据创业公司 资讯

开源大数据框架Apache Hadoop已经成了大数据处理的事实标准,同时也几乎成了大数据的代名词,虽然这多少有些以偏概全。 根据Gartner的估计,目前的Hadoop生态系统市场规模在7700万

jopen 2014-04-23   28910   0
Hadoop  

王团结:如何用Hadoop/Spark构建七牛数据平台 资讯

Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择 ”之后,CSDN Spark微信用户群邀请了王团结为大家分享Hadoop/Spark在七牛数据平台的实战。 王团结 , 七牛

jopen 2015-07-30   15456   0
Hadoop  
1 2 3 4 5 6 7 8 9 10