IBM LinuxONE 在手,开源开放易如反掌 资讯

特性之一号称是“由你做主的Linux”,它全面支持主流开源软件,任由开发者选择自己所熟悉和偏爱的开源工具,支持包括 Apache Spark 、Node.js、MongoDB、MariaDB、PostgreSQL、Chef和Docker

jopen 2015-11-19   22774   0

认知时代来临,IBM大数据解决方案能力凸显 资讯

计算密集型特点,并有同构、异构架构要求。新一代LC产品中的S812LC特别适用于Hadoop、Spark,能够满足大数据的高带宽、存储能力大、单节点存储能力强、多线程同步等需求。另外,LC系列服务器不

豆瓣的基础架构 问答

量也很大。另外就是自己开发的分布式计算平台 DPark 。 DPark顾名思义是Spark的Python实现,不过现在已经跟Spark越来越不一样了。和Hadoop 相比,Spark可以使用内存做为缓存加速分布式计算,DPark继承

miie 2014-07-10   19134   3

Flink 原理与实现:Table & SQL API 经验

DAY) """) Table API & SQL 原理 Flink 非常明智,没有像Spark那样重复造轮子(Spark Catalyst),而是将 SQL 校验、SQL 解析以及 SQL 优化交给了 Apache

ThaliaXGJZ 2017-03-30   56715   0
SQL   API  

十八款Hadoop工具帮你驯服大数据 经验

行完成。 上图所示为Martin Abegglen在Flickr上发表的几台刀片计算机。 Spark 未来已然到来。对于某些算法,Hadoop的处理速度可能慢得令人抓狂--这是因为它通常依

jopen 2016-01-05   23769   0

理想的程序员 资讯

工程师万金难求,各互联网公司纷纷把数据统计、数据分析和数据挖掘的业务切换到分布式平台上。这几年眼看 Hadoop 还在不断迭代,Spark 又异军突起,一举刷新了 Hadoop 保持的排序记录,以内存存储中间数据带来的性能优势和丰富的数据结构让人爱个不停,各种奇异的小

jopen 2015-03-05   29263   0

推荐系统老司机的十条经验 经验

t算法,见专治选择困难症——bandit算法。 十、别一言不合就要上分布式 Hadoop,spark,mapreduce,这些名词背后有一个共同的概念:分布式。 现在,所谓的大数据项目也是言必

zljljy 2016-12-03   29681   0

怎样才是理想的程序员 资讯

把数据统计、数据分析和数据挖掘 的业务切换到分布式平台上。这几年眼看Hadoop还在不断迭代,Spark又异军突起,一举刷新了Hadoop保持的排序记录,以内存存储中间数据带来 的性能优势和丰富的数据

jopen 2015-03-09   24717   0

Apache Beam: 下一代的大数据处理标准 经验

现出了越来越多的分布式数据处理框架,从最早的Hadoop MapReduce,到Apache Spark,Apache Storm,以及更近的Apache Flink,Apache Apex等。新的分

科技公司钟爱的50款开源工具 资讯

是一种资源抽象工具,有了它,企业就可以鼗整个数据中心当成一个资源池,它在又在运行 Hadoop、Spark 及类似应用程序的公司当中很流行。使用它的企业组织包括:Airbnb、欧洲原子核研究组织(CER

jopen 2016-02-26   38527   0

影响数据检索效率的几个因素 经验

Elasticsearc 这样的数据存储。然后在存储之上有一个分布式的实时计算层,比如 Hive 或者 Spark SQL。用户用 Hive SQL 提交给计算层,计算层从存储里拉取出数据,进行计算之后返回给用户。这种大数据的玩法起初是因为

jopen 2015-06-09   35005   0

实时推荐系统的3种方式 经验

的问题。目前,在算法上主要通过引入聚类技术和改进实时协同过滤算法提高推荐速度;在架构上,目前实时推荐主要有基于Spark、Kiji框架和 Storm的流式计算3种方法。 1.聚类技术和实时协同过滤算法 在算法

jopen 2015-06-18   132273   0

理想的程序员 问答

工程师万金难求,各互联网公司纷纷把数据统计、数据分析和数据挖掘的业务切换到分布式平台上。这几年眼看 Hadoop 还在不断迭代,Spark 又异军突起,一举刷新了 Hadoop 保持的排序记录,以内存存储中间数据带来的性能优势和丰富的数据结构让人爱个不停,各种奇异的小

jopen 2015-05-28   14339   5

卡耐基梅隆大学教授邢波:Petuum,大数据分布式机器学习平台 资讯

的假设:我只要把它能够跑起来,它肯定能跑对,肯定 会收敛。如果系统中还有一个特殊编程模型,比如Spark里面有一个RDD,GraphLab中有一个节点模型,他们就会假设,无论什么机器学习的算法都 可以

jopen 2015-01-21   25613   0

下一个硅谷不在中国,也不在印度,它在网上 资讯

The Next Silicon Valley Will Be On The Internet Spark Capital 的合伙人 Andrew 分享了这么一个有意思的观点 ,下一个硅谷会在互联网上产生。

jopen 2014-05-21   3401   0

2017数据库大趋势 PostgreSQL最受关注 资讯

(公众号:雷锋网) 了解,一个相似的趋势在 Apache Spark 和 Hadoop 之间上演。受调查者对 Hadoop 的兴趣(34.8%),远远少于对 Spark 的 53.3%。 这部分调查的逆袭“剧情

jopen 2017-04-01   16512   0

14个最受欢迎的Python开源框架 经验

T架构风格,尽可能以最少的力气做最多的事情。 Dpark :Python版的Spark DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规

jopen 2015-07-23   24311   0

14个最受欢迎的Python开源框架 经验

T架构风格,尽可能以最少的力气做最多的事情。 Dpark :Python版的Spark DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规

cey6 2015-06-01   25309   0

Android Weekly #201 安卓开发周刊 中文版 经验

已经注意到一项不断增长的可怕趋势:PNG文件在膨胀。 Spark简介 (medium.com) Dan Hill介绍了一种新型开源库Spark。它是一种用于画波形图的Android库。. 10件你(可能)不知道的可以用Android

如何利用Google成为一个更好的程序员 资讯

一个“ – ”符号。 举例 Spark Java -Apache 在 Java 中很烦人的一件事就是有 sparkjava 和 Apache Spark。如果只想搜索前者,那么通过“-Apache”可以轻松删除所有基于

jopen 2016-02-14   6212   0
1 2 3 4 5 6 7 8 9 10