基于Hadoop的数据仓库平台,Apache Hive 1.2.1 发布 资讯

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

jopen 2015-06-29   9747   0

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群 资讯

要解决他们的hadoop,spark的开发环境就行了。 本文的重点有两个,第一,使用weave解决跨主机通信,第二,实际使用当中,开放端口调试程序和webUI监控等。至于hadoop,spark本身的安装配置等参数并没有涉及。

jopen 2016-02-24   36540   0
Spark   Docker   Hadoop  
P12

  Hadoop 和 HBase 分布式配置及整合 MyEclipse 开发 文档

Hadoop和HBase分布式配置及整合My Eclipse开发 Q:620734263 说明: 本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可. 一、

caiyifeng 2012-11-17   10033   0

光环国际公开课—Hadoop大数据处理技术及其实践 问答

光环国际公开课—Hadoop大数据处理技术及其实践 开课时间: 2015年1月16日、17日 咨询电话:400-7060-559   010-846754957 课程内容 采用递进式,分为三个模块分享:

3173130229 2014-12-28   14984   0
数据库   ci   云计算   C/C++  

Hadoop 进行分布式并行编程(一) 博客

IBM中国开发中心 2008 年 5 月 22 日 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于

Hadoopp 2012-09-28   1472   0

Hadoop进行分布式并行编程(二) 博客

程序实例与分析 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算

Hadoopp 2012-09-28   1535   0

Hadoop 0.20的配置过程和配置文件(分布式) 博客

11的两台机器上的目录结构一致,分别安装JRE 6 Update 14,下载hadoop 0.20后解压放在目录/home/hadoop/下。hadoop包解压以后的路径名字是hadoop-0.20.0,建立一个软链接指向这个目录,方

Hadoopp 2012-09-28   1086   0
P26

  hadoop学习总结之四:Map-Reduce的过程解析 文档

{   //首先要做的一件事情是有关Task的文件从HDFS拷贝的TaskTracker的本地文件系统中:job.split,job.xml以及job.jar   Path localJarFile =

huafenged 2012-02-24   2954   0
P18

  hadoop搭建与eclipse开发环境设置及远程调试 文档

hadoop搭建与eclipse开发环境设置     ――罗利辉 1. 前言 1.1 目标 目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是:

li270606338 2013-08-28   4101   0

Hadoop入门 - Linux下伪分布式计算的安装与wordcount的实例展示 经验

了我们进入主题安装hadoop: 1.下载hadoop-0.20.1.tar.gz: http://www.apache.org/dyn/closer.cgi/hadoop/common/

fmms 2012-02-23   26987   0

HCatalog - 基于Hadoop数据表和存储管理服务 经验

Apache HCatalog是基于Apache Hadoop之上的数据表和存储管理服务。 包括: 提供一个共享的模式和数据类型的机制。 抽象出表,使用户不必关心他们的数据怎么存储。 提供可操作的

openkk 2012-06-09   39460   0

Ubuntu上Hadoop Mapreduce集群搭建以及程序运行 经验

为了完成计算机综合实验的考核,折腾了三天,终于完成了在Hadoop集群上完成了Mapreduce的实验。但是,后面的考试接踵而至,也就没能及时写下心得,考试结束了。赶紧把过程中的步骤和遇到的困难记录下

jopen 2013-01-20   22851   0

Hadoop -分布式环境搭建安装配置 经验

GRUB_TERMINAL=console 然后update-grub即可。 3.Hadoop环境的配置 3.1配置JDK环境(之前就做好了,这里不再赘述) export JAVA_HOME=/opt/jdk1

jopen 2014-02-25   19857   0

微软的开源 Hadoop 的 .NET SDK 开发包 经验

Microsoft .NET SDK For Hadoop 是个 Hadoop WebClient 的 .NET SDK。这个工具包提供 .NET API ,用来访问 HDInsight 方面(HDFS,HCatalag,Oozie

jopen 2014-04-08   63765   0

Hadoop MapReduce下一代 - 命令行Mini集群 经验

个单节点的Hadoop集群,不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要快速体验一个真实的Hadoop集群或者测试一个没有java程序的功能。

jopen 2014-10-31   13426   0

Hadoop数据细粒度的、基于角色的认证功能:Apache Sentry 经验

是一个高度模块化的系统。它为存储在Apache Hadoop集群中的数据和元数据提供了细粒度的、基于角色的认证功能。 Hadoop生态圈中的项目有着各自不同的、需要单独配置的认证系统Hadoop的灵活性使

jopen 2014-08-24   13274   0

淘宝Hadoop作业平台:宙斯Zeus 经验

宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说,支持: Hadoop MapReduce任务的调试运行

jopen 2013-05-03   48614   0

Hadoop环境搭建过程中可能遇到的问题 经验

lusterID不一致,导致集群启动时,hadoop会杀死从节点的datanode进程。 解决方案: a) 将集群关闭; b) 删除你在hadoop配置中设置的tmp下的data和name中的内容(每一个节点都要做这个操作)

jopen 2015-06-08   11851   0

MapReduce-Hadoop分布式计算模型 经验

序列化就是把结构化的对象转化为字节流。 反序列化就是把字节流转回结构化对象。 hadoop中的Partitioner分区 Hadoop中的MapReduce支持对key进行分区,从而可以使map出来的数据均匀分布在reduce上。

nbd2 2015-07-14   38345   0

Hadoop中新型大数据查询引擎:Apache Calcite 经验

Apache Calcite 是面向Hadoop新的查询引擎,它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力,除此之外,Calcite还提供了OLAP和流处理的查询引擎。正是有了这些诸多

jopen 2015-09-17   48869   0
1 2 3 4 5 6 7 8 9 10