P18

  hadoop搭建与eclipse开发环境设置 文档

hadoop搭建与eclipse开发环境设置     ――罗利辉 1. 前言 1.1 目标 目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是:

huafenged 2011-08-17   4456   0

Hadoop Distributed System (HDFS) 写入和读取流程 经验

一、HDFS HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、

fmms 2012-02-21   56900   0

hadoop分布式集群搭建 经验

hadoop版本:hadoop-0.20.205.0-1.i386.rpm 下载地址:http://www.fayea.com/apache-mirror/hadoop/common/hadoop-0

openkk 2012-09-01   32361   0

深入理解Hadoop集群和网络 经验

摘要: 本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。 导读:云计算和Hadoop中网络是讨论得相对比较少的领域。本文

openkk 2012-09-01   19388   0

hadoop 2.0 详细配置教程 经验

PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我。 Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop 是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展

jopen 2012-09-18   80115   0

hadoop集群增加/删除节点 经验

hadoop要发到每个节点的配置文件,只有core-site.xml mapred-site.xml hdfs-site.xml 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip

jopen 2012-10-11   26263   0

Hadoop 管理监控工具:Apache Ambari 经验

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、

jopen 2012-12-25   77765   0

Hadoop集群上运行R程序--安装RHadoop 经验

RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的

jopen 2013-01-06   14531   0

如何在Hadoop 2.0上实现深度学习? 经验

这本身有它 自己的挑战。 下面我们就将一起探讨如何将深度学习(最前沿的机器学习框架)部署到Hadoop的集群中。还将提供如何对算法进行修改以便适应分布式环境。同时还将展示在标准数据集下的运行结果。

jopen 2015-03-11   21678   0

Hadoop的一个Job跟踪器:Timberlake 经验

Timberlake是一个Go服务器搭配React.js作为前端。它改善现有的 Hadoop job 跟踪器,通过提供正在运行和已经完成MapReduce jobs的一个轻量级实时视图。Timberlake

jopen 2014-11-24   11549   0

Hadoop 迭代式计算框架:Guagua 经验

Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型,Guagua

jopen 2014-07-30   14227   0

Hadoop log4j日志说明 经验

system properties hadoop.root.logger=INFO,console hadoop.log.dir=. hadoop.log.file=hadoop.log # # Job Summary

jopen 2013-12-27   53598   0

腾讯TDW:大型Hadoop集群应用 经验

TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大

jopen 2015-07-28   19632   0

hadoop2.7完全分布式安装 经验

3、/etc/profile HADOOP_PREFIX=/opt/hadoop JAVA_HOME=/opt/jdk1.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/

mxw8 2015-06-21   34384   0

hadoop2.7.1环境搭建 经验

在老板的支持下,陆续划拉到了10几台机器,绑定了固定IP,工作之余开始了Hadoop之旅。将要点记录下来,以备查阅。 硬件构成: Resource Volume CPU 2 cores

jopen 2015-12-29   9501   0

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3) 经验

最好与你要创建的表名一致,这样方便查看和管理 create external table hadoop_1(id int,name string) row format delimited fields

jopen 2015-12-29   9440   0

如何让Hadoop支持优先级且性能可预测 经验

Apache Hadoop近十年的成长证明,用开源技术处理与访问海量数据并不是什么炒作。然而,Hadoop的一个缺点是不可预测性。Hadoop不能确保企业的关键任务按时完成,也不能完全发挥集群的性能。

LukeOlivare 2016-06-17   11606   0

Spring for Apache Hadoop 1.0 RC1 发布 资讯

Spring Hadoop 为开发 Apache Hadoop 应用程序提供支持,充分利用 Spring, Spring Batch 和 Spring Integration 等项目提供的功能。 Changes

jopen 2012-10-18   9698   0
Hadoop  

DataStax融资1100万,NoSQL、Hadoop大热 资讯

创业公司DataStax为企业提供基于开源 NoSQL 数据库 Apache Cassandra 的 Hadoop构建方案。公司近日宣布完成1100万美元B轮融资。这家位于旧金山海湾区的创业公司于20

webphp 2011-09-26   7191   0

官方正式发布 Apache Hadoop 2.5.0 版本 资讯

尽管下载文件在前几天已经发布,不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版,这是一个小更新版本,包括一些主要新特性和改进以及 Bug 修复,例如扩展文件属性和改进 HDFS 的

jopen 2014-08-15   6456   0
1 2 3 4 5 6 7 8 9 10