14个最受欢迎的Python开源框架 经验

T架构风格,尽可能以最少的力气做最多的事情。 Dpark :Python版的Spark DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规

jopen 2014-06-29   46805   0

用smack+openfire做即时通讯 经验

2.2吧。这篇博文中的代码是4.1.1版的,但不推荐用它。 用openfire做服务器,用spark做帮助调试的客户端,用smack(官方文档在 这里 ,感觉写得非常不好)做java的库,来完成即时通讯功能。

jopen 2015-08-21   23830   0

用一个城市的形象来比喻描述大数据的技术生态 资讯

候,大数据时代来了,科技蜀黍又玩起 Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, Bi

jopen 2015-02-04   9124   0

GraphX 图数据建模和存储 经验

读文件,生成原始的RDD 每个分区(的计算节点)把每条记录放进 PrimitiveVector 里,这个结构是spark里为primitive数据优化的存储结构。 把 PrimitiveVector 里的数据一条条取出,转化成

jopen 2015-08-05   22695   0

Hive未来两年的路线图 资讯

1 Analytics的全面支持则将于2015年底完成。 此外,Hive还将与机器学习框架Spark集成,使用户可以通过Hive运行机器学习模型。除了上述特性外,Hive还将获得如下增强: Hive

jopen 2014-09-14   10444   0
Hive  

Apache的Mesos和Google的Kubernetes 有什么区别? 资讯

有很多的现代化可扩展性的数据处理应 用都可以在Mesos上运行,包括Hadoop、Kafka、Spark等,同时你可以通过容器技术将所有的数据处理应用都运行在一个基础的资源池中。在 某个方面来看,Me

jopen 2015-01-20   112519   0

大数据平台任务调度与监控系统 资讯

生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python等。 这些任务需要不同的运行环境,并且除了定时运行,各种

jopen 2015-10-20   52068   0

大数据分析技术生态圈一览 资讯

这是一项全面托管的NoOps数据分析服务。 Presto 这是一款面向大数据的分布式SQL查询引擎。 Spark 这是一款用于处理大数据的快速通用引擎 平台/基础设施 亚马逊网络服务(AWS)

勿忘初心321 2016-01-08   26145   0

Kubernetes让Docker容器如虎添翼 经验

序的需求。例如,一个由Flume、Kafka以及Spark容器组成的数据管道。现在的需求是,通过扩大管道增加更多的Flume、Kafka以及Spark容器来处理更大的数据集。或者说通过集群配置启动更多

茄子炒辣椒 2016-10-13   7558   0

大数据技术文章合集 经验

大数据求职者说 2016-04-21 大数据与长尾 2016-04-07 博客虫资源分享系列三:Spark相关资源 2016-02-02 米特吧大数据技术沙龙第二期详情及报名 2016-01-04

JulMcclure 2017-02-14   7922   0

Apache Mesos与Google Kubernetes的不同之处在哪里? 经验

它能让很多现代可扩展的计算处理应用能运行的很好在Mesos集群之上(Hadoop、Kafka和Spark)。它非常棒的地方在于可以在同样的基础资源环境里同时可以运行这些计算处理应用,包括同时运行微服务

jopen 2015-10-25   13935   0
P27

  APM Python Application Performance 文档

16. 基于流处理技术的实时告警引擎基于流处理技术的实时告警引擎Yahoo!s4 Apache Spark Alert Engine Twitter Storm Storm:动态处理大量生成的小块数据,数据项在网络节点中流进流出;

cd62 2015-01-29   509   0

lucene简单入门 经验

analyzer = new SimpleAnalyzer(); String text = "Spark是当前最流行的开源大数据内存计算框架,采用Scala语言实现,由UC伯克利大学AMPLab实验室开发并于2010年开源。";

SteffenM01 2016-02-08   13369   0

最好的15个Python开源框架 经验

T架构风格,尽可能以最少的力气做最多的事情。 Dpark :Python版的Spark DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规

jopen 2015-01-05   35535   0

2016 这些技术会特别火 资讯

大数据相关(包括数据挖掘) IBM Watson Analytics Apache Spark Splunk Apache Kafka Cloudera Impala Tableau

jopen 2016-01-22   11817   0

Apache Hive v2.1.0 发布 资讯

HIVE-9774 ] - Print yarn application id to console [Spark Branch] [ HIVE-10280 ] - LLAP: Handle errors while

jopen 2016-06-21   19408   0

60款顶级大数据开源工具 经验

超过10亿美 元。IBM更是非常看好开源大数据工具,派出了3500名研究人员开发Apache Spark,这个工具是Hadoop生态系统的一部分。 这回我们推出了最新的顶级开源大数据工具排行榜

jopen 2015-11-14   179651   0

Hadoop和大数据:60款顶级大数据开源工具 资讯

超过10亿美 元。IBM更是非常看好开源大数据工具,派出了3500名研究人员开发Apache Spark,这个工具是Hadoop生态系统的一部分。 这回我们推出了最新的顶级开源大数据工具排行榜。这

jopen 2015-10-23   46305   0
Hadoop  

Apache Kylin在百度地图的实践 资讯

析查询服务,在技术选型过程中,我们参考了Apache Drill、Presto、Impala、Spark SQL、Apache Kylin等。对于Apache Drill和Presto因生产环境案例较

jopen 2016-01-05   55700   1

60款与Hadoop和大数据相关的顶级开源工具 资讯

亿美元。 IBM 更是非常看好开源大数据工具,派出了 3500 名研究人员开发 Apache Spark ,这个工具是 Hadoop 生态系统的一部分。 这回我们推出了最新的顶级开源大数据工具排行

jopen 2015-08-10   60740   0
Hadoop  
1 2 3 4 5 6 7 8 9 10