Mac版Spark获得更新 整体生产力都提升了

去年 12 月份,Readdle 推出了 Spark 电子邮件应用的 Mac 版本,这款应用程序能够为用户提供跨平台的邮件收发体验,并且支持新款 MacBook Pro 中加入的 Touch B...
jopen 4年前    5515   

雅虎开源“TensorFlowOnSpark” - TensorFlow 与 Apache Spark 结合

它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。
jopen 5年前    11973   

别再比较Hadoop和Spark了,那不是设计人员的初衷

对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。
jopen 6年前    8767   

Spark生态顶级项目汇总

现在 Apache Spark 已形成一个丰富的生态系统,包括官方的和第三方开发的组件或工具。后面主要给出 5 个使用广泛的第三方项目。
jopen 6年前    7128   

用Spark/DBSCAN做地理定位数据聚类

机器学习,特别是聚类算法,可以用来确定哪些地理区域被一个给定的用户经常访问和“入住”而哪些区域不是。这样的地理分析使范围广泛的服务成为可能,从基于位置的推荐系统到先进的安全系统,并提供更个性化的用户体验。
jopen 6年前    33151   

变不可能为可能,Tachyon帮助Spark变小时级任务到秒

本文作者是Gianmario Spacagna和Harry Powell,Barclays的数据科学家。Barclays的数据科学家。 集群计算和大数据技术已经取得了很多进展,不过现在很多大数...
jopen 6年前    17142   

Apache Spark 2.0 最快今年4月亮相

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame
jopen 6年前    10292   

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关...
jopen 6年前    36540   

Spark 是否真的比 MapReduce 技高一筹

Apache 基金会下的 Spak 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop ...
jopen 6年前    29104   

《Machine Learning with Spark》书评与作者访谈

机器学习 以现有数据为基础创建模型,通过数据驱动,对未来做出决策或者预测。机器学习在最近几年获得大量的关注,因为它对企业与商业做出决策非常有帮助。
jopen 6年前    25101   

[译]R语言突破大数据瓶颈:Shiny的Spark之旅

我对如何开发和部署"Shiny-SparkR"的应用一直很感兴趣,本文目的将展示如何使用 SparkR 来驱动 Shiny 应用。
jopen 6年前    24544   

Hadoop/Spark生态圈里的新气象

令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。
jopen 6年前    35271   

事实上,Spark是一项非常值得学习的技术

2013年年底,我第一次接触到Spark,当时我对Spark所使用的Scala语言产生了较大的兴趣。一段时间后,我做了一个预测泰坦尼克号船上人员生存概率的数据科学项目。事实证明这是一个更深入了解...
jopen 6年前    34562   

7种常见的hadoop和spark项目

如果您的Hadoop项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。
jopen 6年前    10075   

2分钟读懂Hadoop和Spark的异同

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。
jopen 6年前    13152   

spark十分优秀,但并非银弹

已经有太多的文章说spark有多么的优秀了,我是非常认可的。比如:统一分析引擎,RDD抽象,dataset、df等编程接口,交互式编程的支持,稳定高效的机器学习算法库,高效的spark sql实...
jopen 6年前    9359   

解读2015之Spark篇:新生态系统的形成

编者按:2015年,整个IT技术领域发生了许多深刻而又复杂的变化,InfoQ策划了“解读2015”年终技术盘点系列文章,希望能够给读者清晰地梳理出技术领域在这一年的发展变化,回顾过去,继续前行。...
jopen 6年前    38554   

大数据盘点之Spark篇

谭政,Hulu 网大数据基础平台研发。曾在新浪微博平台工作过。专注于大数据存储和处理,对 Hadoop、HBase 以及 Spark 等等均有深入的了解。 2015 年中 Spark 版本...
jopen 6年前    42951   

2016年大数据领域预测:Spark淘汰MapReduce,拯救Hadoop

2016 年大数据领域会发生什么情况?考虑到如今在深层神经网络和规范性分析方面取得的进展,你可能觉得这个问题很好回答。而实际上,来自业界的大数据预测大不相同,本文精选出了最值得关注的 33 个预...
jopen 6年前    26776   

Spark 1.6今天发布

今天,我们很开心的宣布发布Apache Spark 1.6!这也是开源社区开发的一个里程碑,2015年贡献spark的代码是1000行,是2014一整年的两倍,见下图。
jopen 6年前    26489   
1 2 3 4

热门问答

热门文档