一篇文章读懂大数据的黄色小象帮手––Hadoop 经验

原文 http://www.thebigdata.cn/Hadoop/13701.html 继云计算之后,大数据(Big Data)接棒成为最热门的科技潮字,和大数据有关的技术和科技接二连三成

jopen 2015-03-13   25945   0

Hadoop分布式文件系统HDFS介绍 经验

概念 HDFS是Hadoop Distribute File System 的简称,也就是Hadoop分布式文件系统。 设计理念 1、硬件错误是常态 错误检测并快速自动恢复是HDFS的最核心设计目标

fdwm 2015-04-19   17745   0

脱离JVM?Hadoop生态圈的挣扎与演化 经验

,分布式存储与处理成为唯一的选项。从2005年开始,Hadoop从最初Nutch项目的 一部分,逐步发展成为目前最流行的大数据处理平台。Hadoop生态圈的各个项目,围绕着大数据的存储,计算,分析,展示,安全等各个方面,构建了一个完

jopen 2015-09-26   32975   0

从零开始搭建Hadoop2.7.1的分布式集群 经验

Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。 网上教程有很

jopen 2016-01-18   29490   0
P39

  Hadoop MapReduce 模块源代码详细解析 文档

 1 引言 1.1 致谢 作者是在读了“觉先”的博客《Hadoop学习总结之四:Map-Reduce的过程解析》之后才从宏观上了解Hadoop MapReduce模块的工作原理,并且以此为蓝本,写出

songyl525 2013-12-11   465   0

详细讲解Hadoop中的一个简单数据库HBase 博客

HBase是 Hadoop中的一个简单数据库。它与Google的Bigtable特别相似,但也存在许多的不同之处。 数据模型 HBase数据库使用了和 Bigtable非常相似的数据模型。用户在表

Hadoopp 2012-09-28   1184   0

雅虎架构师谈MapReduce和Hadoop的未来 博客

作者 Scott Delap 译者 Terry Hadoop 是一个开源的分布式计算平台,它主要由MapReduce的算法执行和一个分布式 的文件系统等两部分组成。InfoQ曾经 刊登过 一 篇Jeremy

Hadoopp 2012-09-28   840   0
P30

  Tez - 下一代Hadoop上的执行引擎 文档

1Apache Tez : Next Generation Execution Engine upon Hadoop Jeff Zhang 2. OutlineTez Introduction Tez API Tez

dfwm 2014-10-19   763   0

关系数据库与Hadoop数据迁移工具 Sqoop 开源项目

Sqoop是一个用于将Hadoop与关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

码头工人 2019-01-17   737   0
P13

  hadoop开发案例 之Cloudera Manager详解 文档

1. CDH4.1实战系列 讲师:Cloudy(北风网版权所有)二、Cloudera Manager安装和环境熟悉 2. 软件版本介绍CentOS 版本要求: v5.7 - v6.2 之间 64位系统,

玫瑰情书 2014-06-18   693   0

能否利用Hadoop搭建完整的云计算平台? 问答

chinacloud.cn/show.aspx?id=19488&cid=12 Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者

jopen 2015-03-18   14267   1
Hadoop   ci   云计算   C/C++   SQL  

基于Hadoop的大规模网络流量分析 经验

,需要考 虑使用分布式的方法。而分布式计算平台Hadoop以及依托在Hadoop平台下的MapReduce框架为解决这类问题提供了良好的支撑。Hadoop 是Apache的一个子项目主要由分布式文件系

jopen 2015-07-30   14958   0

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

像以实现智能实时地保护Hadoop生态系统中大数据的安全。 Eagle在eBay的使用场景 目前,Eagle的数据行为监控系统已经部署到一个拥有2500多个节点的Hadoop集群之上,用以保护数百

jopen 2016-01-06   30988   0

Hadoop主要子项目介绍(Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra ) 经验

现在Hadoop已经发展成为包含多个子项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统(HDFS),但Hadoop下的Common、Avro、Chukwa、Hive、HBas

jopen 2016-01-18   18790   0

自定义Spark Partitioner提升es-hadoop Bulk效率 经验

的实际测试,做了该调整后,写入QPS有两倍以上的提升 理论基础 这里的理论基础自然是es-hadoop项目。 类的调用路径关系为: EsSpark -> EsRDDWriter -> RestService

ukon7587 2016-04-12   20807   0

Kudu:支持快速分析的新型Hadoop存储系统 经验

开源的新型列式存储系统,是 Apache Hadoop 生态圈的新成员之一( incubating ),专门为了对快速变化的数据进行快速的分析,填补了以往 Hadoop 存储层的空缺。本文主要对 Kudu 的动机、背景,以及架构进行简单介绍。

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构 经验

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看

flylong 2016-09-01   15746   0

工作流引擎服务器 Hadoop Oozie 介绍 经验

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat.

jopen 2012-02-04   249329   0

lucene + hadoop 分布式搜索运行框架 Nut 介绍 经验

计算为核心的架构设计是Nut区别于Solr、Katta的地方。 Nut是一个Lucene+Hadoop分布式并行计算搜索框架,能对千G以上索引提供7*24小时搜索服务。在服务器资源足够的情况下能达到每秒处理100万次的搜索请求。

fmms 2012-01-01   43838   0

Cascading - 基于Hadoop的数据管理和分析框架 经验

Cascading是一个应用程序框架,能够帮助开发人员快速开发基于 Apache Hadoop 的 健壮数据分析和数据管理应用程序。 项目主页: http://www.open-open

openkk 2012-06-09   26819   0
1 2 3 4 5 6 7 8 9 10