关于Apache Mesos的一些想法 资讯

有一个有趣的事实(虽然我认为这是公知的),Mesos和Spark有一个共同点:Matei Zaharia——来自一个靠近加拿大安大略的小镇——他是加州伯克利分校 AMP实验室 的学生,这个实验室为Mesos和Spark都做了巨大贡献。最

jopen 2015-03-09   6179   0

大数据架构概览 经验

的基础上演变而来的 Spark :是一个基于内存计算的开源的集群计算系统,其目的在于,让数据分析更加快速。Spark 是由加州大学伯克利分校的 AMP 实验室采用 Scala 语言开发而成。Spark 的内存计

PattiMaes 2016-01-31   44323   0

盘点大数据开源软件Google Trends指数 资讯

是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构。对数据中心而言它就像一个单一的资源池,从物理或虚拟机器中抽离了CPU,内存,存储以及其它计算资源,

jopen 2017-04-06   46308   0

大数据相关技术、Hadoop生态、LinkedIn内部实战 经验

fuel,做智能运维sumologic等等。最后还有个去年的新星 Databricks 伴随着Spark的浪潮震撼Hadoop的生态系统 。 对于迅速成长的中国市场,大公司也意味着大数据,BA

jopen 2015-01-26   192894   0

讲给硅谷创业者的大数据精华集合 经验

uel,做智能运维sumologic等等。最后还有个去年的新 星 Databricks 伴随着Spark的浪潮震撼Hadoop的生态系统。 对于迅速成长的中国市场,大公司也意味着大数据,BAT

jopen 2015-01-25   84829   0
P18

  flex包含一个基于组件的开发模型 文档

件、样式、效果、皮肤。   3、flex定义了两套组件。一套为Spark,放在spark.*包下。一套为MX,放在mx.*包下。Spark是在flex4中新添加的,mx为旧版本中定义的。两套组件的主要

lwq2006 2012-08-03   522   0

从业务驱动和技术实现角度谈腾讯大数据 资讯

我们离线数据处理使用 TDW 平台。TDW 基于 Hive、Pig、Hadoop、Spark 等研发,支持 SQL、Pig Latin、MR、SPARK 等编程接口,为业务提供离线服务。 TRC 是我们的实时数据处理平台。它基于

jopen 2014-11-25   33331   0

Hadoop老矣,为什么腾讯还要花精力在其开源发布上? 资讯

生态组件。以腾讯云上开放的弹性 MapReduce 服务为例,腾讯提供了 Hadoop、HBase、Spark、Hive、Presto、Storm、Flink、Sqoop 等组件服务。不同组件也发挥了不同的用处:数据存储和计算资源调度由

jopen 2018-07-11   15687   0
Hadoop   腾讯  

Apache MRQL 0.9.6-incubating 发布 资讯

(Bulk Synchronous Parallel mode) 基于 Apache SparkSpark 模式 新版本改进记录包括: New Features [MRQL-72] Add support

jopen 2016-03-03   10123   0

这些年,我工作上走过的路 资讯

的观点。而这些观点,我放在了一次PPT分享里。这里可以提两点: 大数据平台(hadoop/spark),真的不要被‘大数据’这个词给吓到了。它大数据都可以处理,小数据当然是小菜一碟。本质上大数据平

jopen 2016-01-31   42991   0

给Java开发者的10个大数据工具和框架 经验

扩展并对查询性能进行了优化。 9、Spark ——Apache Software Foundation中最活跃的项目,是一个开源集群计算框架。 Spark 是一种与 Hadoop 相似的开源集

fkol7746 2017-05-16   44594   0

【Akka】Akka应用调研报告 经验

va基础设施无缝集成。 第四,开源项目的优秀实践有利于Akka的流行和推广。Apache Spark、Apache Flink都已经成为了Apache开源软件基金会的顶级项目,而它们都使用了Akka库,构造软件的高性能和分布式。

wyjqh 2016-02-01   25963   0
P34

  从“被虐”到“落地” - 明略大数据产品演进实践 文档

目录WHY大数据落地被虐实例如何应对案例分享 8. 信心爆棚的进击Hadoop HBase Spark Storm Impala ML 9. 很快感受到森森的恶意 10. 丰富的数据源 11. 权力的游戏

w327 2015-05-25   473   0

Hazelcast v3.7-EA 发布,一个数据分发和集群平台 资讯

Apache Spark Connector: Parallel to the 3.7 release we are releasing our new plugin Hazelcast-Spark connector

jopen 2016-06-18   11390   0

Java开发者值得关注的7款新工具 资讯

欢的食谱。 6. Spark ——微 Web 框架 Spark 是一款受 Sinatra 启发的微型 Web 框架,最新支持 Java8 和 lambdas。Spark 是完全开源的, 源码托管在

jopen 2014-10-21   11491   0
Java  

大规模机器学习流程的构建与部署 经验

AMPLab项目,该项目旨在提供一种构建和管理大规模机器学习的通用流程。鉴于AMPLab与Spark项目的紧密联系,该项目的一些想法已在 Apache Spark中初现端倪。 基元辨识与构建 第一步就是创建基础部件(基石)

jopen 2015-03-13   33778   0

Apache Beam实战指南之基础入门 经验

杂的数据流水线上。另外,近年来涌现出诸多大数据应用组件,如 HBase、Hive、Kafka、Spark、Flink 等。开发者经常要用到不同的技术、框架、API、开发语言和 SDK 来应对复杂应用的

Docker周报第15期 资讯

工具,目前支持的工具包括:Deeplearning4j、GraphLab、H2O、Julia、MLlib、Theano、Torch7、Vowpal、Wabbit。 GitHub SocketPlane

jopen 2015-01-25   21659   0
Docker  

继“Angel”开源后,腾讯又开放TDinsight机器学习平台 资讯

的拖曳布局,组合各种数据源、组件、算法、模型和评估模块,支持各种主流的开源机器学习框架,包括 Spark、Python、R、XGBoost。覆盖特征工程、分类、聚类、回归、关联规则、时间序列等传统机器

jopen 2017-12-18   12801   0
腾讯  

深度盘点国内四大机器学习开源平台:PaddlePaddle,Angel 资讯

DNN(深度神经网络)、CNN(卷积神经网络)、 RNN(递归神经网络),以及 NTM 这样的复杂记忆模型。 基于 Spark,与它的整合程度很高。 支持 Python 和 C++ 语言。 支持分布式计算。作为它的设计初衷,这使得

jopen 2017-01-09   76241   0
1 2 3 4 5 6 7 8 9 10