P21

  JSP总结 文档

 JSP总结 话题一:JSP 简介 一:JSP 简介 1:JSP的定义和特点 (1):是一个文本文件,里面可以嵌入JAVA代码 (2):文本不需要编译,直接运行 (3)在运行的时候,JSP被容器

lmqsz 2013-03-04   2886   0
JSP   Java开发  

Spring Hadoop - 为开发 Apache Hadoop 应用程序提供支持 经验

Spring Hadoop为开发 Apache Hadoop 应用程序提供支持,充分利用 Spring, Spring Batch 和 Spring Integration 等项目提供的功能。 特性包括:

jopen 2012-02-29   27298   0

Hadoop资源管理器:Apache Hadoop NextGen MapReduce (YARN) 经验

YARN是新一代Hadoop资源管理器,通过YARN,用户可以运行和管理同一个物理集群机上的多种作业,例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目,而且可以对相同

jopen 2013-08-15   15636   0

hadoop再次集群搭建(3)-如何选择相应的hadoop版本 经验

之前接触过很多很多hadoop版本,现在重新搭建平台,面临选择哪个版本的问题。 当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素: ( 1 )是否为开源软件,即是否免费。 ( 2

jopen 2016-01-18   8804   0

针对 Hadoop 平台的开发Eclipse插件集合:The Hadoop Development Tools (HDT) 经验

The Hadoop Development Tools (HDT) 是 针对 Hadoop 平台开发的一组 Eclipse IDE插件集合。 该插件在Eclipse IDE中提供了以下功能:

jopen 2014-08-20   34255   0

Spring Hadoop - 整合Spring框架和Apache Hadoop平台的开源项目 经验

这个项目整合了 Spring 框架和 Apache Hadoop 平台。该项目提供了一种方便的机制,让我们可以通过 Spring 容器来配置、创建和执行各种各样的服务和工具,像 MapReduce、Hive、Pig

openkk 2012-03-02   89770   0

Spring Hadoop - 在 Spring 框架下编写 Hadoop 应用的支持。 经验

在Spring框架下支持编写 Hadoop 应用。Spring Hadoop使MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。Hadoop分布式文件系统数据访问是通过J

openkk 2012-06-09   27826   0

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper) 经验

1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者

jopen 2015-07-14   292150   0

hadoop集群ambari搭建(2)之制作hadoop本地源 经验

集群最好的安装方式一定是通过本地源的,如果是公共源,那么网络将会严重影响我们的安装进度。所以制作本地源是每一个大数据工作者的必会技能。 1:制作ambari(1.4.1.25)本地源 下载ambari repo

jopen 2016-01-18   10823   0

flume-ng+Kafka+Storm+HDFS 实时系统搭建 经验

一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” 1 ) . 数据采集 负责从各节点上实时采集数据,选用 cloudera 的 flume 来实现 2 ) . 数据接入

liu0627 2016-02-17   56233   0

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS) 经验

(1)、大量手机用户同时在线,执行上传、下载、read等图片操作 (2)、文件数量较大,大小一般为几K到几十K左右 HDFS存储特点: (1)      流式读取方式,主要是针对一次写入,多次读出的使用模式。写入的过程使用的是append的方式。

openkk 2012-03-01   244496   0

java实现对HDFS增删改查(CRUD)等操作 经验

实现对HDFS增删改查CRUD等操作 1 查找 列出某个目录下的文件名称,hdfs命令如下所示: hdfs dfs –ls/usr/app java代码片段: public void list(String

jopen 2014-03-12   67851   0
P14

  HDFS小文件处理解决方案总结+facebook(HayStack)+淘宝(TFS) 文档

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS) 一、概述 手机图片或者像淘宝这样的网站中的产品图片特点: (1)、大量手机用户同时在线,执行上传、下载、read等图片操作

平江夜弹 2012-08-23   5511   0
P8

  HDFS+MapReduce+Hive十分钟快速入门 文档

HDFS+MapReduce+Hive十分钟快速入门 HDFS+MapReduce+Hive十分钟快速入门 一见 2009-8-19 1. 前言 本文的目的是让一个从未接触Hadoop的人,在很短的

xnbw 2016-01-12   418   0

分布式 经验

分布式锁 0 背景 最近在业务中出现用户重复提交退款,因为重复提交时间差极端,在加上中间网络延迟,导致请求到达服务端时,出现两个请求的时间差在毫秒级,从而导致重复数据;后来在商户端也出现类似的情况

LauCSX 2016-12-28   10815   0
P3

  基于Eclipse的Hadoop编程环境配置 文档

基于Eclipse的Hadoop开发环境配置 废话少说,先说一下开发环境版本。      Hadoop: Apache Hadoop-0.20.0      Eclipse: Eclipse 3.4

lenhan12345 2012-11-27   379   0
P5

  Hadoop在Linux的上安装与配置 文档

Hadoop在Linux的上安装与配置 安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本。网址为http://apache.etoak.com//hadoop/core/

hans511002 2012-06-24   3750   0
P6

  Hadoop集群安装步骤简述 文档

Hadoop集群安装 首先我们统一一下定义,在这里所提到的Hadoop是指Hadoop Common,主要提供HDFS分布式文件存储)与Map/Reduce的核心功能。   准备安装Hadoop集群之前

wkz_214 2011-09-14   4893   0

Apache Hadoop 2.0.3 发布 资讯

Apache Hadoop 2.0.3发布了,在这次版本更新中,主要增加了以下几个特性: 1.  引入一种新的HDFS HA解决方案QJM 之前NameNode HA已经有两种解决方案,分别是基于共享存储区的Backup

jopen 2013-02-17   22484   0

Twitter Storm 开源实时Hadoop简介 资讯

Twitter 将 Storm 正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在 GitHub 上,遵循 Eclipse Public License 1.0 。Storm 是由 BackType

码头工人 2011-09-29   18518   0
1 2 3 4 5 6 7 8 9 10