spark 编程珠玑-RDD 篇 经验

RDD 有关RDD的基础概念请阅读spark官方文档,或网上搜索其他内容。本文完全是实战经验的总结。 惰性求值 RDD的转换操作都是惰性求值的。 惰性求值意味着我们对RDD调用转化操做(例

jopen 2016-01-18   9409   0
P30

  Spark SQL 漫谈 文档

1. Spark SQL 漫谈Cheng Hao Oct 25, 2014Copyright © 2014 Intel Corporation. 2. AgendaSpark SQL Overview

nn34 2014-12-16   535   0

Java Web 框架:Spark 经验

Spark是一个受Sinatra启发的小型Web应用开发的Java框架。 这个例子显示了一些基本的功能: import static spark.Spark.*; import spark.Request;

jopen 2013-11-22   25756   0
P227

  spark学习笔记 文档

SPARK 学习笔记 Spark亚太研究院群集体成员 2014/12/9 shanghai-pd Spark 学习笔记 1 1 序 14 2 Spark学习阶段篇 14 2.1 Scala语言 14

larruping 2017-01-03   1040   0
方案   报告   Apache   Basic   diff  

Spark 常见问题小结 经验

Spark is an excellent tool to use with Apache Cassandra and thanks to the DataStax OSS Spark Cassandra

jopen 2015-12-31   51499   0

Spark SQL编程指南(Python) 经验

前言 Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD:SchemaRDD。 SchemaRDD类似于传统关系型数据库的一张表,由两部分组成:

jopen 2015-11-21   63799   0

Spark Shuffle之Hash Shuffle 经验

com/jacksu/utils4s/blob/master/spark-knowledge/md/hash-shuffle.md 正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash

jopen 2016-01-10   11873   0
P34

  webim(openfire+spark+smack) 文档

不需要什么改动,依然是用Ajax轮询取信息,后端需要在没有新消息时处理一下。 3.长连接(streaming):其实很早以前就有人使用这种技术来实现聊天室的通讯。以前在页面中嵌入一个 iframe,i

nalogy 2010-12-07   13292   0

Databricks Spark 知识库 经验

Connection refused Spark 组件之间的网络连接问题 性能 & 优化 一个 RDD 有多少个分区 数据本地性 Spark Streaming ERROR OneForOneStrategy

jopen 2015-01-01   12695   0

集群计算平台:Spark 经验

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。 Spark已正式申请

jopen 2014-08-15   89025   0

Spark 入门(Python、Scala 版) 经验

本文中,我们将首先讨论如何在本地机器上利用Spark进行简单分析。然后,将在入门级水平探索Spark,了解Spark是什么以及它如何工作(希望可以激发更多探索)。最后两节将开始通过命令行与Spark进行交互,然后演示如何

efbb 2015-05-08   210961   0

基于Spark的机器学习经验 经验

的微信群做的分享。从技术角度而言,对Spark的掌握和使用还是显得很手生的。但是今天一位做数据分析相关的朋友说,受这篇内容影响,他接受了 Spark-Shell作为数据分析的工具,简单几个命令,轻松处理几

jopen 2015-12-11   48934   0

Spark在美团的实践 经验

美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各

樱桃大丸子 2016-04-09   55580   0

Spark Shuffle之Sort Shuffle 经验

com/jacksu/utils4s/blob/master/spark-knowledge/md/sort-shuffle.md 正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash

jopen 2016-01-11   23250   0
P10

  hadoop&&spark安装教程 文档

Hadoop&&spark安装教程 环境 本教程使用 Ubuntu 12.04 64位 作为系统环境(Ubuntu 14.04 也行,32位、64位均可),请自行安装系统 装好了 Ubuntu 系统之后,在安装

P158

  apache-spark源码走读 文档

Apache Spark源码走读之1 -- Spark论文阅读笔记 欢迎转载,转载请注明出处,徽沪一郎。 楔子 源码阅读是一件非常容易的事,也是一件非常难的事。容易的是代码就在那里,一打开就可以看到

bxingqing 2017-06-12   1332   0

开源云计算系统 Spark 经验

Spark是一个开源的集群计算系统,用于快速数据分析,包括快速运行和快速写操作。Spark 是一种与 Hadoop 相似的开源云计算系统,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark

fmms 2012-01-05   104657   0
P2

  Spark 部署与实践 文档

专题:Spark部署与实践 Apache Spark是立足于内存计算的一种快速数据分析方案。其性能已经得到大家的认可,但我们该如何部署与实施Spark呢?本专题将为您介绍不同模式的Spark部署。 头条推荐

yxwpx 2015-07-21   506   0

Gradle与Makefile构建工具的对比 资讯

比较它们之间的区别了,本文不准备详细介绍 Gradle的方方面面,而是希望通过与Makefile的对比帮助Gradle初学者更快速地理解Gradle的基础和原理。 Makefile是一种管理和编译

jopen 2015-08-26   31197   0
Gradle  

MySQL 存储引擎对比 经验

ed的方式进行存储。 InnoDB 存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全。但是对比Myisam的存储引擎,InnoDB 写的处理效率差一些并且会占用更多的磁盘空间以保留数据和索

jopen 2013-06-11   48980   0
1 2 3 4 5 6 7 8 9 10