Hadoop集群数据处理API:Cascading 经验

Hadoop 上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。 Cascading目前依赖于 Hadoop

jopen 2011-12-22   28341   0

支付宝屏蔽P2P始末:担忧资金池风险隐患 资讯

家 P2P 网贷平台的资金服务业务,仅仅保留两家继续观察。这次决定是基于一次 P2P 行业的全面调研分析。 近日,《财经》记者实地采访,清晰、完整地还原了这起事件的来龙去脉。如今看来,支付宝叫停与

jopen 2016-04-17   9254   0
P7

  开源日志系统比较 文档

系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。

vv2011_p 2012-12-21   606   0

开源日志系统比较:scribe、chukwa、kafka、flume 经验

要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。即:当数

jopen 2013-12-11   163521   0
P42

  运营商如何利用云计算技术服务客户和管理运营_v2 文档

Information Technology Laboratory 13. 云计算的基本技术分布式文件系统 (GFS, HDFS ...) 海量结构数据管理 (BigTable, HugeTable

iloveyepp 2012-11-07   1027   0

NoSQL数据库概览及其与SQL语法的比较 经验

原文出处: 周兆熊(@周兆熊-IT) HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,同时也是知名的NoSQL数据库之一。NoSQL数据库的产生就是为了解决大规模数据集合多重

jopen 2015-11-14   38430   0

数据驱动产品,但我们应该好好思考一下 资讯

现在,随着越来越多的人的生活向线上迁移,以及数据相关技术的成熟,数据分析的方法也被引入到产品研发、设计、运营等各个环节,越来越多的相关人员开始学习一些数据分析的方法来应用到实际工作中,希望能够为产品演进带来强大的助

jopen 2016-04-13   5814   0

开源商业智能解决方案 Pentaho 4.1 发布 资讯

Pentaho BI项目提供了企业级的报表、多维分析、仪表盘、数据挖掘和工作流功能,帮助组织更加有效率的运营。Pentaho产品提供了方便的发布选项,使得它可以作为嵌入式的组件、自定义的BI应用方案以及一个完整的开箱即用的集成BI平台。

jopen 2011-11-02   18601   0

漫画:什么是大数据? 经验

十或者上百PB级别。 面对这样规模的数据存储量,依靠单台数据库服务器显然是不够的,需要以分布式文件系统(例如 HDFS)作为基石。 在传统的关系型数据库中,所存储的数据都是 结构化

ShePedigo 2016-11-06   12509   0
P49

  文档式数据库在Hadoop集群中的应用 文档

100GB数据 批处理更新从每天提升到每小时,每分钟,甚至实时 复杂事件处理能够即时产生信息发送给分析系统 实时流数据处理大数据:信息驱动力3vvarietyvolumevelocity海量数据规模高

tony2007 2015-06-19   1856   0

Airbnb架构要点分享 经验

其应用程序中面向Web的部分,其余的3500个实例用于各种分析和机器学习算法。而且,随着Airbnb的发展,相比于业务处理所需的计算能力,分析和机器学习的计算能力需求增长更快。这是因为,随着Airbn

jopen 2015-09-22   22226   0
P14

  经典web架构 文档

------------------------------------- 当前比较适用的海量小文件系统架构方案 [2010-04-13 11:10:14] ---------------------

leaymo 2017-02-20   1178   0
P41

  Hadoop Map/Reduce教程 文档

常处理个几T的数据,只要你有机器那就小CASE。 3.hadoop要分析的数据通常都是巨大的(T级),网络I/O开销不可忽视,但分析程序通常不会很大,所以他传递的是计算方法(程序),而不是数据文件,所

Tonywang 2011-08-08   5052   0
P41

  Hadoop Map/Reduce教程 文档

常处理个几T的数据,只要你有机器那就小CASE。 3.hadoop要分析的数据通常都是巨大的(T级),网络I/O开销不可忽视,但分析程序通常不会很大,所以他传递的是计算方法(程序),而不是数据文件,所

wentao 2012-02-03   2837   0

SOA服务架构规划 经验

,SOA服务架构规划不仅仅是基于SOA参考架构的思想,更多的是需要基于TOGAF和企业架构的思想来分析和构建完整的服务架构和服务目录库。 服务架构规划的重点有一项是形成完整的服务目录库,除了服务本

jopen 2015-07-12   24484   0

Apache Ignite(二):核心特性一览(V1.4.0版本) 经验

功能点做详细的说明。 1.数据网格 Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。 它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数的线性增长,直至几百个节点。

jopen 2016-01-12   22857   0

图片服务架构演进 经验

之前,首先让我们了解一下NFS技术,NFS是Network File System的缩写,即网络文件系统。NFS是由Sun开发并发展起来的一项用于在不同机器,不同操作系统之间通过网络互相分享各自的文件。NFS

jopen 2014-07-03   56881   0
架构  

图片服务架构演进 经验

之前,首先让我们了解一下NFS技术,NFS是Network File System的缩写,即网络文件系统。NFS是由Sun开发并发展起来的一项用于在不同机器,不同操作系统之间通过网络互相分享各自的文件。NFS

jopen 2014-12-31   52030   0
架构  

云计算的技术路线探讨 经验

我们所要谈论的不是商业领袖们所热衷的云计算概念、云计算市场,而是讨论技术人员眼中云计算具体形态和切实的实现办法。 我们将从需求分析入手、进而讨论设计理念、再具体化到子系统设计和实现中存在的难点问题、最后谈谈云计算对外服务的技术选

jopen 2013-07-20   115020   0
P112

  存储基础知识 文档

17 第3章 文件系统相关知识 19 3.1 什么是文件系统 19 3.2 主流文件系统和特点 20 2005-05-17 第页, 共112页 存储基础知识 3.3 NFS和CIFS网络文件系统工作原理和特点

dan_lionly 2012-08-20   579   0
1 2 3 4 5 6 7 8 9 10