hadoop 2.0 详细配置教程 经验

PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我。 Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop 是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展

jopen 2012-09-18   80115   0

hadoop集群增加/删除节点 经验

hadoop要发到每个节点的配置文件,只有core-site.xml mapred-site.xml hdfs-site.xml 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip

jopen 2012-10-11   26263   0

Hadoop 管理监控工具:Apache Ambari 经验

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 H

jopen 2012-12-25   77765   0

Hadoop集群上运行R程序--安装RHadoop 经验

RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的

jopen 2013-01-06   14531   0

如何在Hadoop 2.0上实现深度学习? 经验

这本身有它 自己的挑战。 下面我们就将一起探讨如何将深度学习(最前沿的机器学习框架)部署到Hadoop的集群中。还将提供如何对算法进行修改以便适应分布式环境。同时还将展示在标准数据集下的运行结果。

jopen 2015-03-11   21678   0

Hadoop的一个Job跟踪器:Timberlake 经验

Timberlake是一个Go服务器搭配React.js作为前端。它改善现有的 Hadoop job 跟踪器,通过提供正在运行和已经完成MapReduce jobs的一个轻量级实时视图。Timberlake

jopen 2014-11-24   11549   0

Hadoop 迭代式计算框架:Guagua 经验

Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型,Guagua

jopen 2014-07-30   14227   0

Hadoop log4j日志说明 经验

system properties hadoop.root.logger=INFO,console hadoop.log.dir=. hadoop.log.file=hadoop.log # # Job Summary

jopen 2013-12-27   53598   0

腾讯TDW:大型Hadoop集群应用 经验

TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。

jopen 2015-07-28   19632   0

hadoop2.7完全分布式安装 经验

3、/etc/profile HADOOP_PREFIX=/opt/hadoop JAVA_HOME=/opt/jdk1.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/

mxw8 2015-06-21   34384   0

hadoop2.7.1环境搭建 经验

在老板的支持下,陆续划拉到了10几台机器,绑定了固定IP,工作之余开始了Hadoop之旅。将要点记录下来,以备查阅。 硬件构成: Resource Volume CPU 2 cores

jopen 2015-12-29   9501   0

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3) 经验

最好与你要创建的表名一致,这样方便查看和管理 create external table hadoop_1(id int,name string) row format delimited fields

jopen 2015-12-29   9440   0

CG_Hadoop:基于MapReduce的计算几何 经验

摘要: Hadoop使用了MapReduce编程范式,目前已经被公认为是分布 式环境中分析大数据的标准框架。然而,它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高效的

jopen 2016-01-05   23913   0

Spring for Apache Hadoop 1.0 RC1 发布 资讯

Spring Hadoop 为开发 Apache Hadoop 应用程序提供支持,充分利用 Spring, Spring Batch 和 Spring Integration 等项目提供的功能。 Changes

jopen 2012-10-18   9698   0
Hadoop  

DataStax融资1100万,NoSQL、Hadoop大热 资讯

创业公司DataStax为企业提供基于开源 NoSQL 数据库 Apache Cassandra 的 Hadoop构建方案。公司近日宣布完成1100万美元B轮融资。这家位于旧金山海湾区的创业公司于2010年建立,目前公司有30名员工。本次融资由

webphp 2011-09-26   7191   0

官方正式发布 Apache Hadoop 2.5.0 版本 资讯

尽管下载文件在前几天已经发布,不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版,这是一个小更新版本,包括一些主要新特性和改进以及 Bug 修复,例如扩展文件属性和改进 HDFS 的

jopen 2014-08-15   6456   0

HDFS 进化,Hadoop 即将拥抱对象存储? 资讯

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone,能将HDFS从文件系统扩展成更加复杂的企业级存储层。 Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境,这

jopen 2014-10-15   11494   0
Hadoop  

Spring for Apache Hadoop 2.1.0.M3 发布 资讯

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于

码头工人 2014-12-19   20627   0

破解迷雾:关于大数据与Hadoop的九大误区 资讯

也会导致大家错过将预算资源投向更具意义的业务实践方法的机会。 在今天的文章中,我们将一同了解九大千万不可轻易着道的大数据与Hadoop相关认识误区。 误区一:我们能够轻松雇用到数据科学家 最近,我们公司某合作企业的一位售前工

jopen 2015-06-23   11979   0
Hadoop  

Docker将会改变Hadoop,变的更快更容易 资讯

最近在San Jose,Clif开幕的hadoop峰会上会有关于Docker和Hadoop的话题讨论,越来越多的创业公司致力于使用Docker技术来简化hadoop应用开发部署的速度。 目前有两个方

jopen 2015-06-22   29562   0
Docker  
1 2 3 4 5 6 7 8 9 10