用一个城市的形象来比喻描述大数据的技术生态 资讯

服务器,数据库,C++,java等基础语言是个什么东西的时候,大数据时代来了,科技蜀黍又玩起 Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS

jopen 2015-02-04   9124   0
P4

  MapReduce 实例 文档

(Java私塾)MapReduce实例 第一部分: 什么是 MapReduce               Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机

singing 2014-01-09   2559   0

10个所需的IT技能,助你职场成功 资讯

最新稳定发行版: 3.7.3 6. Hadoop Hadoop是用Java编写的一款开源软件框架,用于处理大数据。列表中Hadoop位列第六。对Hadoop的招聘需求在上个季度已经下降了0.2个百分点。

fdwm 2015-04-19   8401   0
IT  
P4

  MapReduce 程序编程框架 文档

numPartitions); 函数返回 对于的reduce task ID 用户也可以不提供Partitioner,这是Hadoop会使用默认的。 2.4 Combiner Combiner使得map task与reduce

gaofei8704 2013-06-25   290   0

关于Spark的基本概念和特性简介 经验

Spark是近年来发展较快的分布式并行数据处理框架,可以与Hadoop联合使用,增强Hadoop的性能。同时,Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。这里简单介绍了

jopen 2015-06-25   53456   0

Azkaban:来自Linkedin的批量工作流任务调度器 经验

Azkaban是由Linkedin开源的一个批量工作流任务调度器。Azkaban来自LinkedIn公司,用于管理他们的Hadoop批处理 工作流。日常生产环境中,为了得到想要的数据,通常需要执行很多作业,一批作业执行完毕,再

jopen 2014-12-03   24977   0
Azkaban  

从头开始:用Python实现带随机梯度下降的Logistic回归 经验

logistic 回归模型进行预测。 如何使用随机梯度下降(stochastic gradient descent)来估计系数(coefficient)。 如何将 logistic 回归应用到真实的预测问题。 让我们开始吧

CryDuff 2017-08-28   38975   0

微软推 Azure 机器学习工具:Algorithm Cheat Sheet 资讯

Azure Machine Learning Studio 有着大量的机器学习算法,现在你可以使用它来构建预测分析解决方案。这些算法可用于一般的机器学习: 回归分析、分类、聚类和异常检测 ,且每一个都可以解决不同类型的机器学习问题。

jopen 2015-05-14   15864   0

Hypertable应用实践:比肩HBase 经验

Hypertable原有架构示意图 业务应用 Facebook 在 SIGMOD 2011 会议上介绍了基于 Hadoop/HBase 的三种应用系统: Titan ( Facebook Messages )、 Puma

jopen 2012-09-20   43535   0

Spark编程指南 经验

是一个元素集合,划分到集群的不同节点上,可以被并行操作。RDDs的创建可以从Hadoop文件系统(或者任何支持Hadoop的文件系统)上的一个文件开始,或者通过转换这个驱动程序中已存在的Scala集合而来。用户也可以使Spark持久化一个

jopen 2014-08-24   162840   0

淘宝云梯的多NameNode和跨机房之路 经验

的增长趋势,在可以预见的很短时间内, 集群规模将因为机房机位不足而无法继续扩充。由于当时云梯的Hadoop版本还不支持单集群跨机房分布的功能,所以阿里集团的大数据业务 将因为集群规模的限制而停止发展。

jopen 2014-10-29   12874   0

资源管理框架(mesos/YARN/coraca/Torca/Omega)分析 经验

sos slave主要功能是汇报任务的状态和启动各个framework的executor(比如Hadoop的excutor就是TaskTracker)。 整个mesos系统采用了双层调度框架:第一

jopen 2015-03-13   23243   0
P11

  hbase 数据表介绍 文档

操作工具类代码 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HColumnDescriptor;

beauty2003 2016-05-10   2073   0
P76

  淘宝数据开发平台介绍 文档

审计系统自动化运维系统Hive运行时 监控 系统 实时分析系统可视化引擎数据 监控 和 管理 系统Hadoop Map ReduceHadoop HDFSDatax报表需求(淘数据)数据开发界面Hbase元数据中心

hans511002 2012-06-24   4302   0

开源有效,不信请看 Facebook 资讯

中包括:Airbnb,Dropbox,和Netflix.presto只找到了一家。 新的像Hadoop的大数据工具让公司比较廉价而高效地存储和分析海量数据。但是他们最终要求严格编程来分开使用。pr

dw23 2015-03-23   8791   0
开源  

Spark实战1:单节点本地模式搭建Spark运行环境 经验

http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz 如果你是奋发图强的好码农,你可以自己下载源码: http://github.com/apache/spark

jopen 2014-09-15   51473   0

Spark学习笔记之浅释 经验

: Algorithm Machine People,算法、机器、人) Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同 之处,这些有用的不同之处使得Spa

jopen 2015-06-20   13091   0

京东开源的分布式SQL查询引擎:Presto 经验

各连接器的设计需求会有所不同。 Hadoop / Hive Presto支持从以下版本的Hadoop中读取Hive数据: Apache Hadoop 1.x Apache Hadoop 2.x Cloudera

wge7 2015-06-25   32952   0
Presto  

腾讯分布式数据仓库:TDW 经验

TDW,腾讯分布式数据仓库项目,在Hadoop的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法,支持PB及的存储和TB及的计算等。 这个项目主要的应用场景是

jopen 2014-03-31   34230   0

Golang开源:Poseidon - 360 出品的日志搜索平台 经验

例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算, 一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。

acfc4096 2016-12-10   12929   0
1 2 3 4 5 6 7 8 9 10