0推荐
39K 浏览

Spark Streaming 结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的在结合 Spark Streaming 及 K...
0推荐
22K 浏览

Spark Streaming + Elasticsearch 构建 App 异常监控平台

如果在使用App时遇到闪退,你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼,因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率,进而提升App质量,App...
0推荐
37K 浏览

使用Spark Streaming + Kudu + Impala构建一个预测引擎

随着用户使用天数的增加,不管你的业务是扩大还是缩减了,为什么你的大数据中心架构保持线性增长的趋势?很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期,或者你的业务处在淡季,你增加...
0推荐
19K 浏览

使用Spark Streaming进行情感分析

此列子虽然简单,但是其可以使用Spark解决实际问题。我们可以计算Twitter上主题趋势。
0推荐
22K 浏览

SparkES 多维分析引擎设计

ElasticSearch 毫秒级的查询响应时间还是很惊艳的。其优点有: 优秀的全文检索能力 高效的列式存储与查询能力 数据分布式存储(Shard 分片)
0推荐
22K 浏览

Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后,官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。
0推荐
9K 浏览

Spark Streaming 妙用之实现工作流调度器

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念),我们可能能简化这些工作。我在这...
0推荐
50K 浏览

Spark Streaming使用Kafka保证数据零丢失

spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件:
0推荐
8K 浏览

Transformer架构解析

核心观点: 服务的本质是数据的流转与变换.数据的变换依赖于数据的流转,只有流转的数据才能够被变换。基于这个理念,我们提出了Transformer架构。
0推荐
9K 浏览

Spark Streaming使用Kafka保证数据零丢失

源文件放在github,随着理解的深入,不断更新,如有谬误之处,欢迎指正。 原文链接https://github.com/jacksu/utils4s/blob/master/spark-kno...

经验分享,提升职场影响力

投稿

热门问答

    热门文档