量化派基于Hadoop、SparkStorm的大数据风控架构 经验

I和数据挖掘这些工作都放到了Spark[5] 上。这样一来,依赖不同任务或不同计算框架间的数据共享情况在所难免,例如Spark的分属不同Stage的两个任务,或Spark与MapReduce 框架的数

jopen 2015-10-06   52802   0

StormSpark和MapReduce 开源分布式计算系统框架比较 资讯

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于

jopen 2015-10-15   16466   1
Spark  

流式大数据处理的三种框架:StormSpark和Samza 经验

Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。 Apache StormStorm 中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑

sam2015 2016-02-17   17945   0
P2

  Storm 简介 文档

Storm简介 实时平台 Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm

wuxiaofeng 2013-06-24   7836   0

storm简介 经验

而生的,这也是业界一致的共识。否则最近这两年也不会有 s4,storm,puma这些实时计算系统如雨后春笋般冒出来啦。先抛开s4,storm,puma这些系统不谈,我们首先来看一下,如果让我们自己设

jopen 2013-11-04   78329   0

Storm简介 经验

Streams, 流 流作为storm的核心概念, 定义为无限的tuple序列. 什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型

jopen 2015-04-13   15306   0

HTTP Live Streaming直播(iOS直播)技术分析与实现 经验

成了文章,与大家分享。 前些日子,也是项目需要,花了一些时间研究了HTTP Live Streaming(HLS)技术,并实现了一个HLS编码器HLSLiveEncoder,当然,C++写的。其功能是采集摄像头与麦克风,实时进行

jopen 2015-08-24   23689   0

运用Spark加速实时数据分析 资讯

网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数 据处理模型。在今天,能够满足上文提到的需求而引起了业界人士浓厚兴趣与广泛的支持的一项重要的新技术,就是Apache Spark。从能源产

jopen 2015-10-29   11656   0
Spark  

如何运用Spark进行实时数据分析 资讯

联网、实时分析处理,这些也仅仅只是其中一部分。他们需要一套新的数据处理模型。在今天,能够满足上文提到的需求而引起了业界人士浓厚兴趣与广泛的支持的一项重要的新技术,就是Apache Spark。从能源产

勿忘初心321 2015-12-21   32298   2

使用Apache Spark构建实时分析Dashboard 经验

本篇文章中我们将学习如何使用Apache Spark streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。 问题描述 电子商务门户希望构建一个实时分析仪表盘,

我逍遥 2016-11-28   18418   0

使用Apache Spark分析豆瓣电影数据 经验

的Scalable Machine Learning这门课程,接触了下Spark的基本的操作,然后就想要不然自己抓取豆瓣的电影数据来分析下。 本来是想实践下豆瓣电影的推荐系统,想通过实际的数据来完成”Collaborative

jopen 2015-07-12   26561   0

spark部分代码分析,修改笔记 经验

 图片声音资料路径 1.修改字体:各个界面类中改11为12  org.jivesoftware--Spark.java--installBaseUIProperties()--setApplicationFont(new

最夯的大数据分析工具-Apache Spark 经验

化地将所需要的资料以矩阵的方式切割」,当我们程式需要这些资料时,再每次从资料库取一部分的资料供程式分析使用。 由于LIBSVM并没有实作虚拟矩阵,以致于没办法解决资料过于庞大时,会遇到记忆体不够的

jopen 2015-02-11   20695   0

Spark Tungsten-sort Based Shuffle 分析 经验

https://community.qingcloud.com/topic/341/spark-tungsten-sort-based-shuffle-分析 Tungsten-sort 算不得一个全新的shuffle

961408017 2016-01-31   14769   0

Flink 原理与实现:Aysnc I/O 经验

的前提是需要一个支持异步请求的客户端。当然,没有异步请求客户端的话也可以将同步客户端丢到线程池中执行作为异步客户端。Flink 提供了非常简洁的API,让用户只需要关注业务逻辑,一些脏活累活比如消息顺序性和一致性保证都由框架处理了,多么棒的事情!

秋收尧风 2017-05-18   25351   0

Flink 原理与实现:如何生成 StreamGraph 经验

继上文 Flink 原理与实现:架构和拓扑概览 中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的。

nwfj2581 2016-05-04   16678   0

Flink 原理与实现:Window 机制 经验

Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch

IreneNewsom 2016-05-25   22772   0

Flink 原理与实现:Table & SQL API 经验

Flink 已经拥有了强大的 DataStream/DataSet API,可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢? 首先 Table API 是一种关系型API,类

ThaliaXGJZ 2017-03-30   56715   0
SQL   API  

不同的瑞士军刀:对比 Spark 和 MapReduce 经验

Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop MapReduce

jopen 2016-01-14   21447   0

华为叶琪:论Spark Streaming的数据可靠性和一致性 资讯

眼下大数据领域最热门的词汇之一便是流计算了,其中最耀眼的项目无疑是来自Spark社区的Spark Streaming项目,其从一诞生就受到广泛关注并迅速发展,目前已有追赶并超越Storm的架势。 对于流计算而言,毫无疑问最核

jopen 2015-06-12   15043   0
Spark  
1 2 3 4 5 6 7 8 9 10