基于Akka的实时流处理引擎:Gearpump 经验

actor框架之上的一种流式计算引擎,并且借鉴了目前业界主流的实时计算引擎,比如 MillWheel, Storm, Spark Streaming, Samaz, Tez 和Hadoop yarn。 项目主页:

jopen 2014-12-15   46113   0

在集群上高效的随机学习:Splash 经验

Splash提供了一套简单的编程框架,它允许用户实现单线程的SGD、Gibbs Sampling等各类流式算法。而系统在Spark框架内实现单线程算法的自动并行化。 项目主页: http://www.open-open

cebp 2015-07-12   9737   0
P46

  xmpp协议的使用 文档

本文主要讲解在android使用xmpp协议进行即时通信,所涉及3个主要的东西,它们是openfire、smack和spark,这个三个东东结合起来就是完整的xmpp IM实现,这里简单介绍一下这3个东东在下文的作用: o

opoopen 2017-02-23   555   0

推荐系统:Wuawua 经验

SVD:ParallelSGD(已实现)、SVD、SVD++ RBM(V0.2.0推出); 支持分布式计算, Spark + Hadoop. 项目主页: http://www.open-open.com/

jopen 2014-04-22   20477   0

开源大数据处理系统/工具大全 经验

四、Shark 简介 :Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实

ew45 2015-03-12   325553   0

分布式决策树集成学习框架:Brushfire 经验

pruning many more ways to evaluate splits and trees Spark and single-node in-memory platforms 项目主页: http://www

jopen 2014-11-23   13743   0

免费的Web,移动UI工具包和模板 资讯

Freebie iGallery Repository App Concept Freebie Spark Ui Grey Elements Iphone Gold Ui Kit +Free PSD

jopen 2014-07-20   12489   0
UI  

成为专业程序员路上用到的各种优秀资料、神器及框架 经验

Learning)资料 Docker资料合集 学习使用Strom Hadoop Internals Spark Internals 大数据时代的数据分析与数据挖掘 – 基于Hadoop实现 如何制作操作系统

ymquan1987 2017-03-09   38211   0

为开发者准备的 11 个新鲜方便的前端框架 资讯

web服务可视化的框架和规范。它的总目标是使得文档(以及客户端)同服务器端拥有一样的更新频率。 来源 8. Spark Spark是一个能让你使用Java快速创建web应用的微型框架。只需要下载它的库和依赖,放入你的

jopen 2013-10-22   10068   0
CSS  

金矿边上卖铁锹:Dato为数据科学家提供机器学习系统 资讯

甚至个 人,怎么搭建自己的大规模机器学习系统呢?当然也可以选择开源社区的优秀机器学习系统,比如Spark和Storm。但使用开源系统时碰到问题,就会陷入 无人支持的困境。 36氪介绍过的Dato正

jopen 2015-07-23   21285   0

如何提高ElasticSearch 索引速度 经验

据做Merge 这都会对对外提供的节点造成较大的压力。 解决这个有效的方式,如果你使用类似Spark Streaming这种流式处理程序,在最后往ES输出的时候,根据将所有的数据实现按照shard

szwangxz 2016-03-07   52759   0
P24

  基于GraphX的社区发现 文档

淘宝技术部 数据挖掘与计算 复杂算法 2. 复杂网络 节点表⽰系统中的个体 边表⽰个体之间的关系引言Spark户外活动……技术讲座 猎头公司 云服务打折机票 酒店住宿 旅游攻略 3. 社区发现 Community

n2n3 2015-01-19   12743   0

2016年 IT 趋势大预测! 资讯

scale 应用(WSA)将会被主流企业采用。 WSA 通过实时数据处理框架扩展了如 Storm,Spark Steam,Kafka, Cassandra,Elastic Search 等早已广受欢迎的微

jopen 2016-01-14   7842   0

豆瓣PARACEL:让分布式机器学习变得简单 资讯

没有那么高。不过很快,随着豆瓣的壮大,我们有了分布式计算的需求。当时 Spark 还没有 Python 接口,豆瓣基于 Spark 的思路开发了 Dpark 系统。Dpark 非常成功,一下子把我们能解决问题的规模扩大了不少。

dwd4 2015-03-31   6558   0

使用Python Pandas处理亿级数据 经验

574246 263.574246 如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。 数据清洗

jopen 2016-01-16   15627   0

60+ 必须拥有的jQuery插件 资讯

impressively designed menus. Smooth Ajax adds the spark, blue is the color, rest is history. Page Scroller

jopen 2013-06-04   16920   0
jQuery  

开源的黄金时代已经来临 资讯

往地技术支持和开发Revolution R产品,包括在非Windows平台。 IBM和Spark之间的合作,被称为另一个“San Francisco启动Databricks的 潜在的竞争对手

码头工人 2015-12-29   5743   0
开源  

大数据与机器学习周报 第5期 资讯

之争》 :本文从应用场景、数据流编程、数据可视化、速度等多个方面对Python和R做了对比 《Spark在美团的实践》 :大数据处理渗透到了美团各业务线的各种应用场景,选择合适、高效的数据处理引擎能够

jopen 2016-04-12   29688   0

impala笔记 经验

批量分配,增量分配等方式实现降低资源分配延时。 相关系统对比 HIVE Spark Impala 概要 Hive是老牌的SQL-on-hadoop解决方案 spark之上的交互式SQL解决方案 提供DataFrame

er74 2015-07-26   61584   0

使用Python Pandas处理亿级数据 经验

574246 263.574246 如果使用Spark提供的Python Shell,同样编写Pandas加载数据,时间会短25秒左右,看来Spark对Python的内存使用都有优化。 数据清洗

jopen 2016-01-16   13234   0
1 2 3 4 5 6 7 8 9 10