开源有效,不信请看 Facebook 资讯

中包括:Airbnb,Dropbox,和Netflix.presto只找到了一家。 新的像Hadoop的大数据工具让公司比较廉价而高效地存储和分析海量数据。但是他们最终要求严格编程来分开使用。pr

dw23 2015-03-23   8791   0
开源  

Spark实战1:单节点本地模式搭建Spark运行环境 经验

http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz 如果你是奋发图强的好码农,你可以自己下载源码: http://github.com/apache/spark

jopen 2014-09-15   51473   0

Spark学习笔记之浅释 经验

: Algorithm Machine People,算法、机器、人) Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同 之处,这些有用的不同之处使得Spa

jopen 2015-06-20   13091   0

京东开源的分布式SQL查询引擎:Presto 经验

各连接器的设计需求会有所不同。 Hadoop / Hive Presto支持从以下版本的Hadoop中读取Hive数据: Apache Hadoop 1.x Apache Hadoop 2.x Cloudera

wge7 2015-06-25   32952   0
Presto  

大数据领域一些实用工具 经验

数据处理 Hadoop (能够对大量数据进行分布式处理的软件框架,具有高可靠性、高扩展性、高效性和高容错性) Storm (分布式实时计算系统,开源系统,支持多种编程语言,可处理Hadoop的批量数据)

y37f 2015-03-15   37847   0

腾讯分布式数据仓库:TDW 经验

TDW,腾讯分布式数据仓库项目,在Hadoop的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB及的存储和TB及的计算等。 这个项目主要的应用场景是

jopen 2014-03-31   34230   0

Golang开源:Poseidon - 360 出品的日志搜索平台 经验

例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算, 一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。

acfc4096 2016-12-10   12929   0

数据库老兵:大数据时代 NoSQL 不是颠覆性技术 资讯

那么,什么才是大数据时代的颠覆性技术呢,Kertzman认为hadoop是个真正的机遇,但Hadoop的问题是企业部署过慢,而SQL-on-Hadoop则是大数据厂商为了加快Hadoop部署选择的技术路径。 文章来自 IT经理网

jopen 2013-11-11   13891   0
NOSQL  

MemSQL 4提供社区版本,并支持地理空间智能以及与Spark集成 资讯

,支持关系型、JSON及地理空间数据等不同数据格式的实时内存数据处理。此外,它还支持与 Apache Spark 、Hadoop分布式文件系统( HDFS )及 Amazon S3 集成。 该数据库解决方案可以用于更高

jopen 2015-06-03   8006   0
MemSQL  

简单的实时大规模机器学习基础架构:Oryx 经验

Oryx的目标是帮助Hadoop用户搭建并部署能够实时查询的机器学习模型,例如垃圾邮件过滤和推荐引擎。随着数据的不断流入,Oryx还将支持自我更新。 无论从建模还是部署,Oryx都可以随需扩展

jopen 2014-03-01   24541   0
P4

  一个hive hbase hdoop+eclipse的实例 文档

hbase,hive,hadoop一个演示的例子。 1. 在终端上创建表;(hive) CREATE EXTERNAL TABLE MYRELATION( key INT, name STRING,telphone1

xnbw 2016-01-11   472   0
P10

  MapReduce 数据分析实战 文档

/bin/hadoop fs -copyFromLocal test.log /hdfs/ 三、运行map red /bin/hadoop jar contrib/streaming/hadoop-streaming-0

gppxm 2012-10-19   449   0

非常不错的NoSQL 数据库学习资料汇总 问答

应运而生,提供了相应的解决方案。本学习路线图向 Java 开发人员介绍了 NoSQL 技术,以及 Apache Hadoop MapReduce 技术在处理大规模数据方面的优势。 1. NoSQL 入门

jopen 2011-11-09   24320   3
数据库   C/C++   Go   NOSQL   IDE  

Apache HBase v1.0 发布 资讯

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase 是Google

jopen 2015-02-25   17855   0
HBase  

数据仓库平台,Apache Hive 1.1.0 发布 资讯

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

jopen 2015-03-09   12022   0

Apache Accumulo 1.7.0 发布,K/V 存储方案 资讯

Key-Value 存储解决方案。Accumulo的设计也来自Google的BigTable,实现基于Hadoop、Zookeeper和Thrift。所以它与HBase很像,但也 有不少创新点,比如基于cel

jopen 2015-05-20   9229   0

云数据迁移移工具 Sqoop 1.4.0-incubating 发布 资讯

Sqoop是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以

fmms 2011-11-29   20318   1
Hadoop  

Apache HBase 0.96.0 发布:大变革和大量修复 资讯

数据类型的灵活性 模块化 更多详情: full announcement 。 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC

jopen 2013-10-24   19615   0

高效和分布式的通用数据处理平台:Apache Flink 经验

runs independently from Hadoop, but integrates seamlessly with YARN (Hadoop's next-generation scheduler)

jopen 2014-08-28   41962   0

数据仓库平台 Apache Hive 0.8.0 发布 资讯

Hive 是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

jopen 2011-12-19   15283   0
Hive  
1 2 3 4 5 6 7 8 9 10