Spark Streaming + Elasticsearch 构建 App 异常监控平台 经验

造轮子,首先要考虑的就是成本问题。我们选择了站在开源巨人的肩膀上,如图1所示。 Spark Streaming 每天来自客户端和服务器的大量异常信息,会源源不断的上报到异常平台的Kafka中,

beuf3754 2016-11-06   22460   0

使用Spark Streaming + Kudu + Impala构建一个预测引擎 经验

你增加的计算资源就处在浪费阶段;相对应地,当你的业务在旺季期,或者每周一每个人对上周的数据进行查询分析,有多少次你忒想拥有额外的计算资源。 根据需求水平动态分配资源 VS 固定的资源分配方式,似乎

新的可视化帮助更好地了解Spark Streaming应用程序 资讯

4 之前,我们展示了在Spark1.4.0中 新推出的可视化功能 ( 《Spark 1.4:SparkR发布,钨丝计划锋芒初露》 [中文版]),用以更好的了解Spark应用程序的行为。接着这个主题,这篇博文将重点介绍为理解Spark

f627 2015-07-15   20421   0

为什么越来越多的公司在使用Spark Streaming 资讯

Databricks最近对1400多家Spark用户进行了一次调查,结果显示这些用户对Spark Streaming的使用率与2014年相比增长了56%,另外,有48%的受访者将Spark Streaming标记为最常用的Spark组件。在Spark

jopen 2016-01-03   21174   0

Spark Streaming使用Kafka保证数据零丢失 经验

https://community.qingcloud.com/topic/344/spark-streaming使用kafka保证数据零丢失 spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件:

Spark Streaming 结合 Kafka 两种不同的数据接收方式比较 经验

端接收数据,所以继承了 InputDStream,是没有 receivers 的 在结合 Spark Streaming 及 Kafka 的实时应用中,我们通常使用以下两个 API 来获取最初的 DStream(这里不关心这两个

怎样利用Spark Streaming和Hadoop实现近实时的会话连接 经验

这个 Spark Streaming 样例是一个可持久化到Hadoop近实时会话的很好的例子。 Spark Streaming 是Apache Spark 中最有趣的组件之一。你用Spark St

jopen 2015-06-22   21976   0
P44

  Spark Streaming 场景下两类倾斜问题的研究 文档

1. Spark Streaming 场景下两类倾斜问题的研究 by 余根茂淘宝技术部-数据挖掘与计算1 2. 大纲 问题背景 CPU资源倾斜问题 源数据倾斜问题 小结2淘宝技术部-数据挖掘与计算 3

n2n3 2015-01-19   8464   0

让数据告诉你未来:Spark Streaming+Kudu+Impala构建预测引擎 经验

你增加的计算资源就处在浪费阶段;相对应地,当你的业务在旺季期,或者每周一每个人对上周的数据进行查询分析,有多少次你忒想拥有额外的计算资源。 根据需求水平动态分配资源 VS 固定的资源分配方式,似乎

ususking 2016-05-18   35287   0

Hadoop Streaming使用简介 经验

一、Hadoop Streaming 它是hadoop的一个工具,用来创建和运行一类特殊的map/reduce作业。所谓的特殊的map/reduce作业可以是可执行文件或脚本本件(python、P

jopen 2011-12-21   55545   0

Flink 原理与实现:内存管理 经验

Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮

ui521q7p 2017-06-04   31952   0

Apache Flink 容错机制 经验

Introduce Apache Flink 提供了可以恢复数据流应用到一致状态的容错机制。确保在发生故障时,程序的每条记录只会作用于状态一次(exactly-once),当然也可以降级为至少一次(at-least-once)。

P2

  java几款性能分析工具的对比 文档

需要做一些性能分析,这时,我们自然就要用到一些性能分析工具。Java有许多的性能分析工具,可以帮助我们弄清楚这个问题,但是我们应该使用哪一款工具呢? 为了做出正确的选择,我列出性能分析应满足一些最低要求:

a382220919 2012-11-25   489   0

Java几款性能分析工具的对比 博客

了更详细地了解这一点,我们需要做一些性能分析,这时,我们自然就要用到一些性能分析工具。Java有许多的性能分析工具,可以帮助我们弄清楚这个问题, 但是我们应该使用哪一款工具呢? 为了做出正确的选择,我列出性能分析应满足一些最低要求:

Textpp 2012-10-17   1217   0

Java几款性能分析工具的对比 资讯

们需要做一些性能分析,自然也要用到一些分析工具。 Java有许多的性能分析工具,可以帮助我们弄清楚这个问题,但是我们应该使用哪一款工具呢? 为了做出正确的选择,我列出性能分析应满足一些最低要求:

openkk 2012-03-29   16728   0
Java  

Swarm、Fleet、Kubernetes、Mesos - 编排工具的对比分析 资讯

【编者的话】此篇文章是 《Using Docker》 一书的作者 Adrian Mouat 编写,详细对比分析了Swarm、Fleet、K8s以及Mesos的区别。 大部分软件系统是随时间演进的,添加新

www345 2015-11-16   65664   0

Java几款性能分析工具的对比 经验

详细地了解这一点,我们需要做一些性能分析,这时,我们自然就要用到一些性能分析工具。Java有许多的性能分析工具,可以帮助我们弄清楚这个问题,但是 我们应该使用哪一款工具呢? 为了做出正确的选择,我列出性能分析应满足一些最低要求:

openkk 2012-08-24   16368   0
P28

  内网api设计风格对比分析 文档

1. 内网API设计风格对比分析选择最适合业务需要的API设计风格 主讲人:李锟 2. API的分类进程内调用API 调用本地开发库 本地进程间调用API Linux IPC Android IPC 远程调用API

wubudomain 2017-02-22   909   0
Apache   HTTP   HTML   Java   Go  

大数据技术大合集:Hadoop家族、Cloudera系列、sparkstorm 经验

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:SparkStorm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师

jopen 2014-11-22   190566   0

两款高性能并行计算引擎StormSpark比较 经验

来自http://blog.csdn.net/iefreer/article/details/32715153 Spark 基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点

jopen 2015-06-19   149951   0
1 2 3 4 5 6 7 8 9 10