spark读取hbase数据分布式计算 经验

由于spark提供的hbaseTest是scala版本,并没有提供java版。我将scala版本改为java版本,并根据数据做了些计算操作。 程序目的:查询出hbase满足条件的用户,统计各个等级个数。 代码如下,注释已经写详细:

jopen 2014-01-27   69731   0

用于处理分布式数据 - COOPY 经验

COOPY 是一组工具包用于处理分布式数据,支持数据比较、补丁、合并以及版本控制,支持数据格式包括:CSV, Excel, MySQL, Sqlite 等等 项目主页: http://www

openkk 2012-02-15   17151   0

分布式数据库 Hypertable 经验

Hypertable是一个开源、高性能、可伸缩的数据库,它采用与Google的Bigtable相似的模型。在过去数年中,Google为在 PC集群 上运行的可伸缩计算基础设施设计建造了三个关键部分。第一个关键的基础设施是Google

openkk 2012-06-09   15795   0

NoSQL数据库的分布式算法 经验

系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是 一个筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但

jopen 2012-11-09   37342   0
算法   NOSQL  

分布式数据库概述 经验

一、前言 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表 现出它的不足:数据按实际需要已在网络上分布存储,再

jopen 2013-07-20   14835   0

NoSQL数据库的分布式算法 经验

系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是 一个筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但

jopen 2014-12-25   29198   0
算法   NOSQL  

分布式事务内存数据库:MemDB 经验

MemDB 是全球首个支持分布式事务的 MongoDB。 高性能和可伸缩 快速的内存数据访问,高达 25,000 ops (single doc read/write) /碎片 (each shard

jopen 2015-11-05   10706   0

分布式数据库 HBase 经验

HBase是 Hadoop 的正式子项目,它是一个面向列的分布式数据库。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row

openkk 2011-12-01   137182   0

分布式数据存储平台 PNUTS 经验

Yahoo!的PNUTS是一个分布式数据存储平台,它是 Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的 描述,”PNUTS, a massively parallel

openkk 2012-03-07   21153   0

分布式数据存储框架 Gizzard 经验

Twitter已经从以往的数据存储开发经验中提出一个名为 Gizzard的Scala框架,让用户可以更方便地创建自定义容错、分布式数据库。Twitter给出了一个名为“Rowz”的示例,方便用户上手。

openkk 2012-06-08   30644   0

分布式数据存储:ModeShape 经验

ModeShape是一个分布式,层次化,事务性的,一致的数据存储。支持查询、全文搜索、事件,版本控制,引用和灵活的动态架构。它非常快的,高度可用,高度可扩展,100%开源和采用Java编写。 客户端使用

jopen 2014-09-15   21796   0

Chukwa:开源分布式数据收集系统 经验

Chukwa 是一个开源的用于监控大型分布式系统的数据收集系统。它构建在 hadoophdfs 和 map/reduce 框架之上的,继承了 hadoop 的可伸缩性和鲁棒性。Chukwa 还包

jopen 2014-12-02   43565   0
P14

  分布式数据库选型 文档

1. 数据存储的分类与对比类型成熟度特点 缺点适用场景通用性使用成本传统关系数据库很成熟从几千到几千万的记录规模都能存储,支持事务,周边开发语言、框架和平台都有完毕的支持,是企业应用必不可少的基础设施

quyf 2016-07-28   1951   0
方案   报告   SQL  

15公司软件工程师薪酬起底 资讯

求职网站 Glassdoor 日前整理其薪酬信息数据库,列举出世界上 15 家最大科技公司支付给软件工程师的薪酬。结果非常有趣:软件工程师是一份收入不错的工作,无论你在哪里工作。但即使在科技界,软件工程师也不会收到高得离

jopen 2014-10-06   8013   0

Carthage 初探:四优势与四劣势 经验

玩过,今天整合 Carthage 并自己创建 Carthage 兼容的 Framework 的过程让我有了很大的体会,决定写篇文字记录一下。 先来简单介绍下 CocoaPods,这是现在注流的 iOS/Mac

6d6d 2015-07-14   72296   0

可能在2012年放异彩的开源项目 资讯

。过去几年涌现出了许多重要的开源项目,如 Linux、Apache Web server 和 Hadoop 等。Pcworld 一篇文章介绍了 很有可能在 2012 年大放异彩的五个开源项目 。 Nginxy:已被约

openkk 2011-12-29   6303   2

F8会9看点:Messenger变平台 资讯

Facebook 今天还为 Parse 移动应用开发平台推出了全新的软件开发工具包,从而让开发者整合连网设备的数据。这一消息早在昨天就已经泄露出来,在今天正式由 Facebook 公布。 5、Facebook

jopen 2015-03-25   4603   0

刀尖上的乾坤挪移 :RapidsDB技术起底 资讯

16/2825226 大数据和互联网时代,正冲击每一个行业,技术的日新月异,令人目不暇接,但是从整个行业来看,基于Hadoop的批量大数据处理方式,以及基于内 存数据库和内存计算的实时处理和分析,

jopen 2015-07-16   21549   0

程序员的十特质 资讯

3. 能理解别人的代码 ——这一点是至关重要的,很多优秀的程序员就是因为这一条而被拦在晋级“伟”的门外。你的重写能力如何其实并没有多大关系——但是你需要和其他人协作于现有的项目,开始新项目时借鉴

n7w77 2015-03-19   10242   0

没有伟的团队,只有伟的习惯 资讯

事后,投资者会告诉你,他们知道他们所支持的是一个伟的团队,而团队是投资的关键。他们靠的不是运气。 而现实,很多所谓“伟的团队”却常常惹出麻烦,他们很难实际发挥出自己应有的作用。 所以,伟是与生俱来的?有人天生就适合做一个创业者?

jopen 2014-10-03   4730   0
团队  
1 2 3 4 5 6 7 8 9 10