Hadoop和大数据:60款顶级大数据开源工具 资讯

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market

jopen 2015-10-23   46305   0
Hadoop  

60款与Hadoop和大数据相关的顶级开源工具 资讯

说到处理大数据的工具,普通的开源解决方案(尤其是 Apache Hadoop )堪称中流砥柱。弗雷斯特调研公司的分析师 Mike Gualtieri 最近预测,在接下来几年,“ 100% 的大公司”会采用 Hadoop

jopen 2015-08-10   60740   0
Hadoop  

SparkR:数据科学家的新利器 经验

R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力 的最新举措,最近发布的Spark 1.4版本在现有的Scala/Jav

jopen 2015-10-24   49850   0
SparkR  
P8

  RocketMQ-原理简析(适合初级使用者) 文档

力。 作者 何鹏 关注分布式存储与计算相关框架,包括Hadoop、YARN、HBase、StormSpark、MQ等 peng.he.ia@gmail.com 消费进度管理 RocketMQ的bro

657226016 2018-05-20   885   0
P8

  RocketMQ -原理简析(适合初级使用者) 文档

力。 作者 何鹏 关注分布式存储与计算相关框架,包括Hadoop、YARN、HBase、StormSpark、MQ等 peng.he.ia@gmail.com 消费进度管理 RocketMQ的bro

hjlsoft 2014-11-23   1818   0

机器学习开源项目、类库、软件集合 经验

clustering. MLlib in Apache Spark - Distributed machine learning library in Spark Mahout - Distributed machine

jopen 2014-10-10   102246   0

机器学习框架、库和软件集合:awesome-machine-learning 经验

clustering. MLlib in Apache Spark - Distributed machine learning library in Spark Mahout - Distributed machine

jopen 2014-10-16   134300   0

Mesos 架构与去哪儿的统一框架实践 经验

内核相同的设计原则,只是设计在不同的抽象层级上。它运行在一个机房的所有服务器上并且通过 API 的形式给应用(比如 Hadoop,Spark,Kafka,Elastic Search)提供资源管理、计划任务等功能。 Mesos 是一个在

shenxidd 2016-12-30   9432   0
P57

  大数据中心建设方案 文档

数据ETL采集、清洗、转换、汇总进来,使用海量数据分布存储技术,用sparkstorm等大数据处理软件对hbase中的数据进行分析处理,挖掘数据价值。还可以在虚拟机上运行业务应用系统,提供负载均衡和

guet_lee 2017-01-12   1207   0

每天近百亿条用户数据,携程大数据高并发应用架构涅槃 经验

简单理解提供基于Hadoop平台进行数据挖掘的一些机器学习的算法包。Spark类似hadoop也是提供大数据并行批量处理平台,但是它是基于内存的。SparkQL 和Spark MLLib是基于Spark平台的SQL查询引擎和数据挖掘相关

每天TB级数据处理,携程大数据高并发应用架构涅槃 经验

简单理解提供基于Hadoop平台进行数据挖掘的一些机器学习的算法包。Spark类似hadoop也是提供大数据并行批量处理平台,但是它是基于内存的。SparkQL 和Spark MLLib是基于Spark平台的SQL查询引擎和数据挖掘相关

【科技英雄传】C语言之父的侄子重塑Twitter 资讯

软件,从而对海量的在线数据进行分析。 在 Twitter 网站上,用户每一秒钟发布的 Twitter 消息多达 5700 条左右。因此,能对数量如此庞大的数据进行分析的软件简直可以说是价比黄金。对所有这些数据进行分析是了解

jopen 2014-02-28   9841   0
C语言  

腾讯宣布推出第三代高性能机器学习计算平台Angel 并于2017年全面开源 资讯

关,这是一种演进发展的必然结果。如何处理好大数据,如何在有限的计算资源上对这些大数据进行深入挖掘和分析,这是未来整个产业发展和升级的一个大课题。我相信大数据将成为这次产业升级的基础,核心算法将成为这次产业升级的灵魂。”

jopen 2016-12-19   44892   0

开源大数据利器汇总 经验

Facebook开源 Shark http://shark.cs.berkeley.edu/ Spark上的SQL执行引擎 Pig http://pig.apache.org/ 基于Hadoop MapReduce的脚本语言

dgy7 2015-05-21   56121   0

光环国际公开课—Hadoop大数据处理技术及其实践 问答

系列工具开发技巧深度解析,与您成功分享技术干货 模块(二): 真实企业案例分析,让您轻松玩转 hadoop 系列工具 教学过程告别理论宣讲,提供一对一真实案例分析,让您告别纸上谈兵,快速玩转 hadoop 系列工具

3173130229 2014-12-28   14984   0
数据库   ci   云计算   C/C++  

专访:大数据群雄逐鹿 Hadoop坚持开源? 资讯

为有足够成熟的硬件支持,众人拾材火焰高。 这就意味着大家可以开始下载、尝试体验、找出一些处理和分析数据的新方法,那在此之前呢,我们没有办法做到这些,所以,我觉得大数据和Hadoop非常相近,可以合二为一。

jopen 2015-02-05   13300   0
Hadoop  

在Docker上运行Apache Kafka 经验

我编译了Apache Kafka的源代码 ,将其连接到了Spark Streaming并尝试回答StackOverflow上的一些问题( 在使用Scala的Flink中怎样使用Kafka? 和 怎样用jmxtrans见识Kafka中间人?

jopen 2015-08-06   82443   0
Docker  

青云QingCloud上线分布式关系型数据库PolonDB 资讯

基于 Citus 构建,同时支持在线事务处理(OLTP)及在线分析处理(OLAP)场景。 据介绍,PolonDB 适配海量数据实时分析、海量事务处理等应用场景,主要特点如下: 无缝兼容 PostgreSQL

五嘎子 2020-05-29   1686   0

如何提高ElasticSearch 索引速度 经验

类型设置为create。这样可以跳过版本检查。 这个场景主要应用于不可变日志导入,随着ES被越来越多的用来做日志分析,日志没有主键ID,所以使用自增ID是合适的,并且不会进行更新,使用一个固定的版本号也是合适的。而不可变日志往往是追求吞吐量。

szwangxz 2016-03-07   52759   0

Mesos在去哪儿网的应用 经验

日志平台,我们将日志分析全部托管在Mesos平台上。日志平台面向业务线开发、测试、运营人员,方便定位、追溯线上问题和运营报表。 这个是我们平台的结构概览。 日志分析我们使用ELK(El

jopen 2015-09-17   54385   0
Mesos   Docker  
1 2 3 4 5 6 7 8 9 10