前雅虎 CTO 打造 Hadoop数据云计算平台 资讯

前雅虎首席技术官Raymie Stata去年6月创立公司 Altiscale 提供“Hadoop即服务”,近日Altiscale宣布面向公众推出大数据云计算平台,类似亚马逊的Elastic Map Reduce,与其产品极为接近的另一家创业公司是

jopen 2014-01-28   11222   0
Hadoop  

Zettaset起诉英特尔剽窃其Hadoop数据软件 资讯

Zettaset控诉英特尔的Hadoop发行版是其旗舰产品的翻版 Zettaset近日控告英特尔抄袭其大数据软件,Zettaset在起诉书中指出,英特尔的Hadoop管理软件与Zettaset的

jopen 2013-10-15   5196   0
Hadoop  

设计高可用性、容错和数据隔离的Hadoop集群 资讯

com/cn/articles/Hadoop-Cluster Hadoop不再仅仅是一个时髦词,它已成为业务需求。数据总是大量涌入,但是在最近,我们可能已经在解锁这种指数级增长的数据。大数据分析中的 现代技术提

jopen 2015-01-22   14728   0
Hadoop  

Hadoop 数据迁移工具,Apache Sqoop 1.4.6 发布 资讯

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

pjp 2015-05-10   21332   0

2分钟读懂大数据框架Hadoop和Spark的异同 资讯

谈到大数据,相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。

jopen 2015-12-15   18423   0
Hadoop  

Hadoop - 你不得不了解的大数据工具 经验

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。

fmms 2012-02-21   67402   0

海量数据的二度人脉挖掘算法(Hadoop 实现) 经验

确的诊断对比,这样做的效果一定没 基于hadoop实现的好;只是自己,想用hadoop实现下,最近也在学;若有不足的地方还请指点。 首先,我的初始数据是文件,每一行为一个follow 关系

openkk 2012-09-01   67412   0
Hadoop   算法  

基于Hadoop的大规模数据分析平台:Apache Pig 经验

Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复

jopen 2013-04-03   21109   0

面向Hadoop的、新的数据处理和管理平台:Apache Falcon 经验

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。

jopen 2015-01-29   67916   0

Spark:比Hadoop更强大的分布式数据计算项目 经验

Berkeley AMP)开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets),提供了比Hadoop更加丰富的MapReduce模型,

jopen 2014-12-03   46280   0

数据技术hadoop入门理论系列之二—HDFS架构简介 经验

HDFS简单介绍 HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。与其他分布式文件系统显著不同的特点是: HDFS是一个高容错系统且能运行在各种低成本硬件上;

jopen 2016-01-12   16076   0

Hadoop数据系统的七大危险信号 经验

大多数企业大数据应用案例尚处于实验和试点阶段,对于少数首次在生产环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。 部署和扩展Hadoo

Hadoop十岁!Doug Cutting成长史+他眼中大数据技术的未来 资讯

上次见到(膜拜)Hadoop之父Doug Cutting是在 2年前 ,2014中国大数据技术大会上。今年Hadoop10岁,刚看到他的 Hadoop十周年贺词 ,感觉时间飞逝。最近CSDN和Info

jopen 2016-02-15   25367   0
P13

  Hadoop:分布式大数据处理架构 文档

Hadoop:分布式大数据处理架构   由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL(Structured Query Language)出

xcxc 2015-08-24   614   0

数据技术大合集:Hadoop家族、Cloudera系列、spark、storm 经验

数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师

jopen 2014-11-22   190566   0

十八款Hadoop工具帮你驯服大数据 经验

Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这 套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建

jopen 2016-01-05   23769   0

量化派基于Hadoop、Spark、Storm的大数据风控架构 经验

net/article/2015-10-06/2825849 量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用

jopen 2015-10-06   52802   0

保障 Hadoop 数据安全的十大措施 资讯

Dataguise最近发布了Hadoop十大数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。

jopen 2013-04-07   6904   0
Hadoop  

MySQL推出Applier,可实时复制数据Hadoop 资讯

MySQL 复制 操作可以将数据从一个 MySQL 服务器(主)复制到其他的一个或多个 MySQL 服务器(从)。试想一下,如果从服务器不再局限为一个 MySQL 服务器,而是其他任何数据库服务器或平台,并且复制事件要求实时进行,是否可以实现呢?

jopen 2013-04-23   17156   0
Hadoop  

基于Hadoop MapReduce模型的数据分析平台研究设计 经验

36dsj.com/archives/28713 前言 拖了5天终于看完了两篇论文,对相关数据分析平台搭建技术也有了进一步的了解。对自己这几天的笔记做了一个整理,既是为了方便自己以后查看,也是

d3fw 2015-04-28   48832   0
1 2 3 4 5 6 7 8 9 10