Spark初探 经验

的,我们通过以下几个方面来了解它: 创建 1)从集合转换而来; 2)基于文件系统(本地文件、 HDFS 、 HBase 等)的输入创建; 3)从父 RDD 转换而来。 计算类型 1)Transformation

jopen 2015-01-13   58340   0
P8

  Ganglia原理介绍 文档

看下ganglia监控的一个图: 可以很只直观的观察系统的各个指标,特别是对于分布式系统来说,无疑非常重要,而且Hadoop,Hbase提供了集成了ganglia的配置文件。 2 工作原理以及配置简介 1)组成 在了ganglia的组成之前,先来看下一张图

小牛牛 2015-03-24   640   0
P14

  Pig 介绍 文档

ce,Hive可以将结构化的数据文件映射为一张数据库表,Hive中表纯逻辑,就是表的元数据。而HBase是物理表,定位是NoSQL。 13. 后记 以上只是简单介绍了下Pig,提供安装和运行demo,

706394187 2015-05-23   2379   0
P39

  spring data 文档

NoSQL 存储: MongoDB (文档数据库) Neo4j(图形数据库) Redis(键/值存储) Hbase(列族数据库) SpringData 项目所支持的关系数据存储技术: JDBC JPA 4. JPA

zgy0118 2016-11-14   1709   0
Spring   JEE框架   SQL  
P26

  电商网站的多IDC部署下的缓存管理 文档

Award(1992) 5. 状态/计算的复制状态的复制 数据库 Oracle,MySQL, MogoDB,HBase 缓存 Memcache Cluster 消息队列 (JumpMQ, 一个自主研发的消息队列) 计算的复制

cpp45 2015-01-21   3755   0
方案   SQL  

U-SQL 介绍 - 大数据处理语言 经验

;还有 HDInsight ,一个全面管理 Hadoop 、 Spark 、 Storm 和 HBase 的服务。Azure 数据湖分析包括 U-SQL,这个语言综合了 SQL 的优点与你自己所写代码的表现能力。U-SQL

jopen 2015-10-14   11530   0
U-SQL   SQL  

一淘网的系统架构 经验

负责存储抓取系统和离线处理系统的产出,同时向这两个“厂”提供高性能、大容量的存取服务。目前我们采用的是Hadoop+HBase的体系结构,将网页、链接、图片进行了分类存放。 存储系统是一淘存放原料、半成品的“核心仓库”。

jopen 2015-03-24   30725   0

Hadoop之父祝贺黄色小象的十岁生日快乐 资讯

op之上也很快建立了其他项目,例如Apache Pig、Apache Hive、Apache HBase等等。同时,学术研究人员也开始使用Hadoop。这样就已经达到了Doug Cutting最初设想

jopen 2016-01-29   9843   0
Hadoop  
P8

  HDFS+MapReduce+Hive十分钟快速入门 文档

Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。 Avro Chukwa HBase Bigtable的实现 HDFS 分布式文件系统 Hive 定位于数据仓库,提供类SQL接口HQL

xnbw 2016-01-12   418   0
P27

  淘宝数据应用开发平台idata 文档

syncTTHiveHadoop Map ReduceHadoop HDFSDatax报表需求(淘数据)Hbase即席查询(adhoc)数据分析数据挖掘数据产品数据平台——产品架构实时计算 底层平台数据开发平台数据应用

lxz 2014-01-03   2361   0

Stack Overflow:我们是如何做监控的 经验

而 Go 还是领先的。 Bosun 后台使用 OpenTSDB 进行存储。它是一个构建在 HBase 之上的 时间序列数据库 ,具有很高的可伸缩性。至少人们是这么告诉我们的。在 Stack Exchange/Stack

码头工人 2019-01-03   11389   0
P51

  7种分布式文件系统介绍 文档

求都要经过它,当请求多时,肯定会有延时。当前,对于那些有低延时要求的应用程序,HBase是一个更好的选择。现在HBase的版本是0.20,相对于以前的版本,在性能上有了很大的提升,它的口号就是goes

cellcomcn 2012-09-18   6062   0

AngularJs单元测试 经验

2013年Testacular改名为Karma.Karma是一个让人感到非常神秘的名字,表示佛教中的缘分,因果报应,比Cassandra这种名字更让人猜不透! Karma是一个基于Node.js的JavaScript测试执行过程管理工具(Test

eo2485 2016-02-28   14292   0
P45

  大型电商架构及演化历程 文档

大且敏(终极追求) 容许以上三种同时存在 38. 异构系统大前端80%采用NoSQL完成 Mongo DB Cassandra Redis 很多大公司前端采用PHP后端采用Java 运维成本? 大部分:0配置,0运维 DevOps

163lzm 2016-10-10   18741   0
方案   HTTP   HTML   Java   PHP  

前端开发周报:PWA 将与安卓原生平起平坐 经验

CPU 周期以及那些妨碍到应用并行化执行的因素了如指掌。本文则是分享作者在提升 Apache Cassandra 项目中的 DataStax Node.js 驱动时的一些思考与总结出的导致应用吞吐量降级的关键因素。

GenieKaawir 2017-02-20   14927   0

Eric Brewer:容器是云计算的未来 资讯

理系统的出现,它们所进行的各种探索是非常有益的。任何这些数据管理系统 如Bigtable,Cassandra还是Dynamo等等,探索如何管理数据,这是非常好的。在这个过程中,受益匪浅。 所以

jopen 2015-05-21   19518   0

Redis Cluster架构优化 经验

Redis,我们也可以用类似的方式实现的。但目前不知道Redis Cluster或者其他P2P分布式系统像Cassandra,是否有比较好的方案。 1.3 冷热数据无法区分 由于集群内结点都是对等的,所以像数据热

jopen 2015-09-26   39506   0

Kubernetes 有状态集群服务部署与管理 经验

在容器化时代,除了无状态的容器服务,比如Web服务器,用户也越来越多地使用容器部署有状态的应用,比如MySQL、Redis、Cassandra等。这些Pets(运行有状态服务的容器,需要特殊处理)就带来了新的需求,包括更长的生命周期,配置依赖,有状态的故障转移等。

lpzgf 2017-01-16   58825   0

产品环境中 Go 语言的最佳实践 资讯

Prometheus,一个早期阶段的遥测系统纯粹是有Golang开发。 当前,流处理采用Cassandra,但是我们正打算(几乎)完全使用Golang代替。 我们也正在试验用Golnag开发的HTTP流媒体直播服务。

jopen 2014-08-31   27290   0

Docker 监控实战 资讯

application server, WebSphere extreme scale, mongodb, cassandra 分别打造了不同版本的实现。 AcmeAir 利用 JMeter 模拟用户行为。可通过动态调

jopen 2015-11-27   27382   0
Docker  
1 2 3 4 5 6 7 8 9 10