一个高效的分布式计算系统:Spark 经验

Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不

jopen 2013-11-13   53687   0

开源分布式存储系统:katta 经验

可以是不同的类型。当前该实现在 Lucene 和 Hadoop mapfiles 让大型高负荷的索引变简单 能为许多具有大型Lucene或Hadoop Mapfile 的索引碎片的服务器提供服务 在不同服务器上复制碎片以保证性能和容错性

jopen 2014-05-20   19271   0

SpatialHadoop实例:面向空间数据的高效MapReduce框架 经验

SpatialHadoop是对Hadoop的做了一个全面的扩展,使其核心功能可以支持空 间数据。因此,对于处理空间数据,SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个

jopen 2016-01-05   24189   0

Coursera数据工程师董飞:硅谷大数据的过去与未来 资讯

是会用到一些通用技术,如 Hadoop、Mahout、HBase、Cassandra 等等;在分析领域,Cloudera、Hortonworks、MapR 是 Hadoop 的三剑客;在运维领域,MongoDB、CouchBase

jopen 2015-01-27   53601   0

2016年最值得关注的大数据领域33大预测 资讯

科学家,但数据驱动的决策不会是这样。在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业Hadoop集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们。 2、“大数据”会消亡

勿忘初心321 2016-01-06   30248   1
P53

  Oracle大数据解决方案- 文档

海量数据“经济方案”------经济便宜的X86服务器 海量数据“分而治之”------批量分布式并行计算Hadoop 海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL 海量数据“跨越

xiao_xiong 2013-05-14   3836   0

大数据领域33个预测 资讯

学家,但数据驱动的决策不会是这样。在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业 Hadoop 集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们。 “大数据”会消亡

jopen 2016-02-17   16931   0

HBase伪分布式安装 经验

net/jeeker/blog/628470 一、概述 我的机器使用hadoop-2.7.2,hbase-1.1.3版本,系统为ubuntu14。 hadoop安装:上一篇文章 二、HBase的安装 下载地址:

chenyu0532 2016-03-02   9633   0

推荐引擎算法学习导论 经验

(Cluster),在同一个簇中的对象之间有较高的相似度,而不同簇的对象差别较大。 5.1、K 均值聚类算法 K-均值(K-Means)聚类算法与处理混合正态分布的最大期望算法很相似,因为他们都试图找到数据中自然聚类的中心。此算

jopen 2015-05-20   49253   0

Apache Ignite(二):核心特性一览(V1.4.0版本) 经验

个轻量级形式,纯MapReduce并不是为了性能而构建,只是适用于进行离线数据的批量处理(比如Hadoop MapReduce)。 然而,对驻留在内存的数据进行计算时,实时性,低延迟和高吞吐量通常具有

jopen 2016-01-12   22857   0

Apache Flink 1.0.0 发布,通用数据处理平台 资讯

2.11 Hadoop 1.2.1 Download Hadoop 2.3.0 Download Download Hadoop 2.4.1 Download Download Hadoop 2.6

jopen 2016-03-10   4935   0

storm集群和单点安装 经验

88.197 user5.hadoop.com 192.168.88.198 user6.hadoop.com 192.168.88.196 user7.hadoop.com wget http://mirror

lnmz3156 2016-02-07   10033   0

指点迷津的现代数据数据架构之道 资讯

让大数据广泛可用,它们应考虑将部分功能外包到云端。如果选择一种大数据即服务解决方案,可以处理像Hadoop、Spark和Hive等这些大数据技术很耗费资源、很耗费时间的操作方面,企业就能专注于大数据的好处,少关注枯燥乏味的工作。

jopen 2016-03-09   4973   0
P67

  云计算pig的使用 文档

 云计算pig使用 Hadoop 的普及和其生态系统的不断壮大并不令人感到意外。Hadoop 不断进步的一个特殊领域是 Hadoop 应用程序的编写。虽然编写 Map 和 Reduce 应用程序并不

xnbw 2016-01-11   2358   0
P63

  hive从入门到精通 文档

应用于工业的商务智能收集分析所需的数据集正在大量增长,使得传统的数据仓库解决方案变得过于昂贵。Hadoop 是一个流行的开源map-reduce实现,用于像yahoo, Facebook一类的公司。来

rocflysi 2017-06-07   535   0

这40项IT技能都能帮你年薪超过12万美元 资讯

公司开发了一个颇受欢迎的商用版 Hadoop。 尽管 Hadoop 是为低价电脑服务器设计的一个免费开源数据存储项目,但免费版本并不好用。 有多家公司开发了更友好的 Hadoop 版本,Cloudera

jopen 2016-02-13   21225   0
P61

  大数据与SequoiaDB 文档

SequoiaDB 研发总监 2 3. Agenda大数据概况1NoSQL3NoSQL + Hadoop4Hadoop2应用场景53 4. 大数据概况Big Data, Big World4 5. 传统的结构化数据依然是最常见的数据

pm36 2014-10-15   2108   0
P61

  大数据与SequoiaDB 文档

SequoiaDB 研发总监 2 3. Agenda大数据概况1NoSQL3NoSQL + Hadoop4Hadoop2应用场景53 4. 大数据概况Big Data, Big World4 5. 传统的结构化数据依然是最常见的数据

xcn4 2014-11-29   1416   0
P61

  大数据与SequoiaDB 文档

SequoiaDB 研发总监 2 3. Agenda大数据概况1NoSQL3NoSQL + Hadoop4Hadoop2应用场景53 4. 大数据概况Big Data, Big World4 5. 传统的结构化数据依然是最常见的数据

nmdb 2014-12-15   2576   0
P11

  大数据方案介绍 文档

典型云计算平台架构 开源成熟的hadoop生态体系 从企业的技术选型角度,hadoop能满足大数据场景下绝打多数需求,同时在技术可行性与成本上,具有无可比拟额优势。 1、 Hadoop是架构在廉价的硬件服务器上,不需要非常昂贵的硬件做支撑。2、

guet_lee 2017-01-12   1929   0
1 2 3 4 5 6 7 8 9 10