从零开始搭建Hadoop2.7.1的分布式集群 经验

Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。 网上教程有很

jopen 2016-01-18   29490   0
P39

  Hadoop MapReduce 模块源代码详细解析 文档

 1 引言 1.1 致谢 作者是在读了“觉先”的博客《Hadoop学习总结之四:Map-Reduce的过程解析》之后才从宏观上了解Hadoop MapReduce模块的工作原理,并且以此为蓝本,写出

songyl525 2013-12-11   465   0

Ubuntu11.10下安装Hadoop1.0.0(单机伪分布式) 经验

环境配置:Ubuntu11.10,Hadoop1.0.0 安装ssh apt-get install ssh 安装rsync apt-get install rsync 配置ssh免密码登录

fmms 2012-01-09   30023   0

详细讲解Hadoop中的一个简单数据库HBase 博客

HBase是 Hadoop中的一个简单数据库。它与Google的Bigtable特别相似,但也存在许多的不同之处。 数据模型 HBase数据库使用了和 Bigtable非常相似的数据模型。用户在表

Hadoopp 2012-09-28   1184   0

雅虎架构师谈MapReduce和Hadoop的未来 博客

作者 Scott Delap 译者 Terry Hadoop 是一个开源的分布式计算平台,它主要由MapReduce的算法执行和一个分布式 的文件系统等两部分组成。InfoQ曾经 刊登过 一 篇Jeremy

Hadoopp 2012-09-28   840   0
P30

  Tez - 下一代Hadoop上的执行引擎 文档

1Apache Tez : Next Generation Execution Engine upon Hadoop Jeff Zhang 2. OutlineTez Introduction Tez API Tez

dfwm 2014-10-19   763   0

关系数据库与Hadoop数据迁移工具 Sqoop 开源项目

Sqoop是一个用于将Hadoop与关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

码头工人 2019-01-17   737   0
P13

  hadoop开发案例 之Cloudera Manager详解 文档

Manager安装和环境熟悉 2. 软件版本介绍CentOS 版本要求: v5.7 - v6.2 之间 64位系统, 本课用CentOS-6.0-x86_64 版本 Cloudera Manager 4.1 JDK

玫瑰情书 2014-06-18   693   0

能否利用Hadoop搭建完整的云计算平台? 问答

chinacloud.cn/show.aspx?id=19488&cid=12 Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者

jopen 2015-03-18   14267   1
Hadoop   ci   云计算   C/C++   SQL  

基于Hadoop的大规模网络流量分析 经验

在网络流量的分析中,基于流的分析被大多数ISP所采用,分析系统一般部 署在一台高配置的服务器中。如由CERT网络势态感知团队(CERT-NetSA)开发的用于大规模网络安全分析的网络交互分析工具集 SILK(the

jopen 2015-07-30   14958   0

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

像以实现智能实时地保护Hadoop生态系统中大数据的安全。 Eagle在eBay的使用场景 目前,Eagle的数据行为监控系统已经部署到一个拥有2500多个节点的Hadoop集群之上,用以保护数百

jopen 2016-01-06   30988   0

Hadoop主要子项目介绍(Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra ) 经验

现在Hadoop已经发展成为包含多个子项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统(HDFS),但Hadoop下的Common、Avro、Chukwa、Hive、HBas

jopen 2016-01-18   18790   0

自定义Spark Partitioner提升es-hadoop Bulk效率 经验

的实际测试,做了该调整后,写入QPS有两倍以上的提升 理论基础 这里的理论基础自然是es-hadoop项目。 类的调用路径关系为: EsSpark -> EsRDDWriter -> RestService

ukon7587 2016-04-12   20807   0

工作流引擎服务器 Hadoop Oozie 介绍 经验

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat.

jopen 2012-02-04   249329   0

lucene + hadoop 分布式搜索运行框架 Nut 介绍 经验

计算为核心的架构设计是Nut区别于Solr、Katta的地方。 Nut是一个Lucene+Hadoop分布式并行计算搜索框架,能对千G以上索引提供7*24小时搜索服务。在服务器资源足够的情况下能达到每秒处理100万次的搜索请求。

fmms 2012-01-01   43838   0

Cascading - 基于Hadoop的数据管理和分析框架 经验

Cascading是一个应用程序框架,能够帮助开发人员快速开发基于 Apache Hadoop 的 健壮数据分析和数据管理应用程序。 项目主页: http://www.open-open

openkk 2012-06-09   26819   0

为什么Hadoop将一定会是分布式计算的未来? 经验

e上面记笔记。不过最近对于Hadoop看得比较多,对它的发展也比较关心,最近了解得越多,也就 越相信Hadoop的未来,这里写一篇文章与大家分享分享,为什么我相信Hadoop一定是分布式计算的未来。

fmms 2012-02-19   111837   0

hadoop2.0集群搭建详解 经验

hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2

jopen 2014-04-01   16479   0

Hadoop 进行分布式并行编程, 第 2 部分 经验

前言 在上一篇文章:“用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署”中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, 并且详细介绍了如何安装

jopen 2014-01-23   13905   0

Hadoop进行打包,分发和测试的工具:Apache Bigtop 介绍 经验

Bigtop 是一个工程的系统开发包,对Apache Hadoop生态系统的测试。 Bigtop的主要目标就是构建一个Apache Hadoop生态系统的包和交互式测试的社区。这个包括对各类不同级别工程进行

jopen 2014-05-13   35312   0
1 2 3 4 5 6 7 8 9 10