Flume+Kafka收集Docker容器内分布式日志应用实践 经验

1)利用Spark streaming在一个时间窗口内计算日志,做流量控制和访问限制。 2)使用awk脚本、scala语言的高级函数做单机的访问统计分析,或者Hadoop、Spark做大数据的统计分析。

NadineOzc 2016-05-16   45671   0
Flume   Kafka   Docker  

京东如何由“调用链”实现多维度的分布式跟踪? 经验

aceId就可以从Hbase里查询到某一次调用的所有中间环节的信息。离线数据部分包括HDFS和Spark,用于海量历史数据分析,并且还会把一些结果存放到Mysql中。 5、CallGraph-UI

ChrGuilfoyl 2017-02-07   24773   0

推荐!国外程序员整理的Java资源大全 资讯

件框架。 Apache Mahout :专注协同过滤、聚类和分类的可扩展算法。 Apache Spark :开源数据分析集群计算框架。 h2o :用作大数据统计的分析引擎。 Weka :用作数据挖掘的

jopen 2015-01-09   78536   4

帮助 Medium 阅读时间达到 2600 年的技术栈 资讯

Redshift。我们越来越转向 ETL 的 Apache Spark ,这是因为它的灵活性与规模增长的能力。随着时间的推移,Spark 可能会成为我们数据管道的首选工具。 我们使用 协议缓冲(Protocol

jopen 2015-11-25   25514   0
Medium  

Apache Mesos和数据中心操作系统的崛起 资讯

框架在Mesos 主节点上注册并接受资源供给。有 许多不同的框架 目 前可用,包括大数据处理(Spark,Kafka),分布式存储和数据库(HDFS,Cassandra),批调度(Chronos,Aurora),以

jopen 2015-12-19   21663   0

物联网的开源工具 经验

x-M0、Cortex-M3、Cortex-M4和标准的x86电脑。 25. Spark Spark是一个分布式的,基于云计算的物联网操作系统。这家公司也提供易于使用的硬件开发套件和初始售

jopen 2014-09-02   99059   0
开源  

Better Java - 教你如何编写现代化的Java程式 经验

setVar(5); Play framework Good alternatives: Jersey or Spark There are two main camps for doing RESTful web

jopen 2015-09-28   30036   0

深度分析Twitter Heron 经验

http://incubator.apache.org/s4/ 2. Spark Streaming. https://spark.apache.org/streaming/ ? 3. Apache Samza

rbyt 2015-06-04   42073   0

Mesos在去哪儿网的实践之路 经验

s):4;" MESOS_resources="${MESOS_resources}cpus(spark):16;" MESOS_resources="${MESOS_resources}cpus(storm):16;"

bwnx 2015-12-15   38497   0
Mesos  

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

为了支持多元化需求,我们引入越来越多样的数据存储和分析方案,比如Hive、MapReduce、Spark和HBase等,随之带来的管理和监控的挑战越来越严峻,数据安全问题亦是其中最重要的之一。 大

jopen 2016-01-06   30988   0

中国移动Kubernetes多集群统一管理实践 经验

ework运行在Mesos之上。下一步准备迁移Hadoop/Spark到Mesos,并且实现Kubernetes和Hadoop/Spark应用的资源共享。 与DevOps工具集的集成。目前我们正在实现

bYgolkert 2016-07-07   38430   0

Mesos在去哪儿网的实践之路 经验

s):4;" MESOS_resources="${MESOS_resources}cpus(spark):16;" MESOS_resources="${MESOS_resources}cpus(storm):16;"

pmnz1078 2016-11-16   29330   0

Java应用程序开发相关工具集合 经验

Apache Mahout :专注协同过滤、聚类和分类的可扩展算法。 Apache Spark :开源数据分析集群计算框架。 h2o :用作大数据统计的分析引擎。 Weka :用作数

jopen 2015-02-27   64194   0

如何为微服务选择数据库 经验

eo4j运行时的模式自由的特性,但却可以访问Cassandra的基础表,以及针对分析工作负载和Spark的整合,还有强大的TinkerPop/Gremlin查询语言可以使用,这的确是一个值得考虑的选择。

liuoliver 2017-11-17   26252   0

唯品会11.11:峰值系统应对实践 资讯

查询trace调用链信息和异常日志。另一条路径,日志信息通过kafka直接 送到spark stream,通过spark分析后计算后,产生data points性能指标数据,再通过flume写入Ope

jopen 2015-11-12   35120   0
架构  

说说Kubernetes是怎么来的,又是怎么没的 经验

是在Cloud Dataproc中运行的,Cloud Dataproc是一个运行Apache Spark的服务。在Google Cloud上训练好一个模型之后,这个模型会被部署到AWS侧,然后处理用户流量。在Google

gw23e 2018-01-23   31024   0

旅游推荐系统的演进 经验

训练集构建&输出:按XGBoost格式输出训练集。 整个训练集的构造过程由Scala编写在Spark集群上运行,而由于XGBoost的Spark版本效果不太稳定,在最后的模型训练与评估中使用的XGBoost的单机版本,

MMCLin 2017-03-28   12206   0

我的后端开发书架2015 资讯

但不直接指导我的项目的开发。 --在所有Storm书里,上面两本暂时是最推荐买的。 《Spark大数据处理技术》 左挑右挑选了这本,结果是典型的多人合著的书 6. 程序员的自我修养

fpcm 2015-05-01   51270   1
书籍  

有一台以上服务器 就有理由尝试云操作系统 资讯

益,使得Mattermark公司更为轻松地引入各类必要的新型数据处理技术,包括Kafka以及 Spark等,并在运行大规模处理任务时快速添加对应容量。总而言之,该公司在基础设施与任务之间的契合度方面投入的精力越少,那么其专注于在正确时间对

www345 2015-11-16   8741   0

IT小小鸟生存指南-学习起步篇 资讯

些人则搞起了各种新潮的技术,什么Angular、 ReactJS、Go、Node、Swift、Spark,他们都以为自己已经拿到了通往成功的钥匙,不过看了一阵发现,该听不懂的还是听不懂,书看的进展缓慢

jopen 2015-08-17   4069   0
1 2 3 4 5 6 7 8 9 10