DirectKafkaInputDStream 只在 driver 端接收数据，所以继承了 InputDStream，是没有 receivers 的在结合 Spark Streaming 及 K...

如果在使用App时遇到闪退，你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼，因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率，进而提升App质量，App...

随着用户使用天数的增加，不管你的业务是扩大还是缩减了，为什么你的大数据中心架构保持线性增长的趋势？很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期，或者你的业务处在淡季，你增加...

此列子虽然简单，但是其可以使用Spark解决实际问题。我们可以计算Twitter上主题趋势。

ElasticSearch 毫秒级的查询响应时间还是很惊艳的。其优点有： 优秀的全文检索能力 高效的列式存储与查询能力 数据分布式存储(Shard 分片)

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这...

spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：

核心观点： 服务的本质是数据的流转与变换.数据的变换依赖于数据的流转，只有流转的数据才能够被变换。基于这个理念，我们提出了Transformer架构。

源文件放在github，随着理解的深入，不断更新，如有谬误之处，欢迎指正。 原文链接https://github.com/jacksu/utils4s/blob/master/spark-kno...