Spark 颠覆 MapReduce 保持的排序记录 资讯

在过去几年,Apache Spark的采用以惊人的速度增加着,通常被作为MapReduce后继,可以支撑数千节点规模的集群部署。在内存中数 据处理上,Apache Spark比MapReduce更加高

jopen 2014-10-11   13271   0
Spark   Hadoop  

Spark发布1.3.0版本 资讯

com/cn/news/2015/03/spark-new-version-release 3月13日, Spark 1.3.0版本与我们如约而至 。这是Spark 1.X发布计划中的第四次发布,距离1

jopen 2015-03-16   28176   0
Spark  

Spark新愿景:让深度学习变得更加易于使用 经验

前言 Spark成功的实现了当年的承诺,让数据处理变得更容易,现在,雄心勃勃的Databricks公司展开了一个新的愿景:让深度学习变得更容易。 当然牛好吹,也是要做些实际行动的,所有便有了 spark-deep-learning

dingkai202 2017-09-25   28211   0

运用Spark加速实时数据分析 资讯

he Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。 Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其

jopen 2015-10-29   11656   0
Spark  

如何运用Spark进行实时数据分析 资讯

he Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。 Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其

勿忘初心321 2015-12-21   32298   2

Scala-Spark环境搭建配置 经验

开始搭建的jdk这些自不必说,本文只是简单的介绍安装scala/spark 1.下载scala安装包 去官网下载tgz包,解压在/opt/scala/下,设置环境变量: export SCAL

jopen 2014-03-02   102788   0

Spark学习笔记之浅释 经验

概述: Spark是一个基于内存计算的开源集群计算系统,目的是让数据分析更加快速。 Spark非常小巧玲珑,由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala,项目的cor

jopen 2015-06-20   13091   0

Ubuntu下Spark开发环境搭建 经验

配置Ubuntu下使用Python开发Spark应用 Ubuntu 64 基本环境配置 安装 JDK ,下载 jdk-8u45-linux-x64.tar.gz ,解压到 /opt/jdk1.8

dgy7 2015-05-21   254373   0

内存计算技术那家强?SPARK vs HANA 经验

会,跟各位聊聊到底什么是内存计算技术,以及比较一些现在两种比较主流的内存计算技术Apache Spark和SAP HANA,它们的特点和区别。 什么是内存计算技术? 关于内存计算,就像云计算和大数

jopen 2014-11-18   37159   0

基于Spark的图计算框架 GraphX 入门介绍 经验

GraphX原型论文 GraphX 是 Spark中用于图(e.g., Web-Graphs and Social Networks)和图并行计算(e.g., PageRank and Collaborative

jopen 2015-01-08   245739   0

网易大数据平台的Spark技术实践 经验

网易大数据Spark技术应用 Spark技术代表未来数据处理的新方向,Spark是UC Berkeley AMP lab开源的类Hadoop MapReduce的通用并行计算框架,Spark基于Ma

jopen 2014-12-19   64036   0

Spark设计理念与基本架构 经验

83.html 《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接 《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章

没心没肺 2016-01-27   56246   0

使用Spark Streaming进行情感分析 经验

这里将使用Twitter流式数据,它符合所有所需:持续而且无止境的数据源。 Spark Streaming Spark Streaming在电子书 《手把手教你学习Spark》 第六章有详细介绍,这里略过Streaming API的详细介绍,直接进行程序开发

Spark的RDD原理以及2.0特性的介绍 经验

王联辉,曾在腾讯,Intel 等公司从事大数据相关的工作。2013 年 - 2016 年先后负责腾讯 Yarn 集群和 Spark 平台的运营与研发。曾负责 Intel Hadoop 发行版的 Hive 及 HBase 版本研

di742088 2016-05-19   68140   0

使用Apache Spark构建实时分析Dashboard 经验

本篇文章中我们将学习如何使用Apache Spark streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。 问题描述 电子商

我逍遥 2016-11-28   18418   0

《Machine Learning with Spark》书评与作者访谈 资讯

。机器学习在最近几年获得大量的关注,因为它对企业与商业做出决策非常有帮助。 Apache Spark 及其机器学习库 MLlib 为开发可伸缩的机器学习应用,提供了多种有用的算法。 关于这个话题,

jopen 2016-02-18   25101   0

Apache Spark 1.6.1 发布,集群计算环境 资讯

Apache Spark 1.6.1 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载

jopen 2016-03-11   27731   0

Java开源IM客户端Spark 博客

Spark 是一个开源,跨平台IM客户端。它的特性支持集组聊天,电话集成和强大安全性能。如果企业内部部署IM使用Openfire+Spark是最佳的组合。 http://www.igniterealtime

lovegis 2010-11-04   3556   0

大数据计算平台Spark内核全面解读 经验

1、Spark介绍 Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台,在2010年开源,目前是Apache软件基金会的顶级项目。随着 Spark在大数据计算领域的暂露头角,越来

jopen 2015-02-03   29051   0

微软开源用于Spark的深度学习库MMLSpark 资讯

微软开源了 MMLSpark ,用于用于 Apache Spark 的的深度学习库。MMLSpark 可以与 微软认知工具包 和 OpenCV 完美整合。 微软发现,虽然 SparkML 可以建立

jopen 2017-10-24   8214   0
1 2 3 4 5 6 7 8 9 10