360开源其深度学习调度平台,支持TensorFlow、MXNet等框架 资讯

ng 。 XLearning 由 360 系统部大数据团队与人工智能研究院联合开发,基于 Hadoop Yarn 完成了对 TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost

jopen 2017-12-07   26919   0
360   XLearning   开源  

java实现对HDFS增删改查(CRUD)等操作 经验

info("[Defaultfs] :" +conf.get("fs.default.name")); conf.set("hadoop.job.ugi","app,app"); //It is not necessary for

jopen 2014-03-12   67851   0

HBase配置安装 经验

要使用普通的硬件配置即可处理成千上万的行和列组成的大数据。 一、实验环境 1,Hadoop 版本 1.2.1, 全分布安装 一个主节点minglaihan,两个子节点node1和node2

jopen 2013-12-05   23330   0
P18

  admaster海量数据分析架构-admaster_谢超 文档

Solution & Action 6. 向左?向右?软硬结合 -高性能并行计算 -硬件DSM 分布式系统 -hadoop 7. 海量数据分析的问题和挑战健壮性 Failover and Recovery 成本 扩展性

mvpzhou 2013-10-08   3208   0
Intel   Java   Scala   SQL   Go  

Linux常用命令总结 经验

10、给文件重命名:mv hadoop_1 hadoop 11、 chown –R hadoop:hadoop hadoop # 将文件夹"hadoop"读权限分配给hadoop用户 12、pwd 查看当前路径

jopen 2014-02-08   19100   0
Linux  

企业大数据平台:RedHadoop 经验

RedHadoop 是一个持续优化的企业级Hadoop基础软件平台,让Hadoop大数据更简单! RedHadoop大数据工场企业版是RedHadoop公司第一款产品,简称BWE(RedHadoop

jopen 2013-10-20   19569   0
P3

  azkaban2 创建工作流 文档

net/gloria__zhang/article/details/8715719这里做了详细介绍. 实例 以hadoop wordcount 为例. 流程如下: 1. 先将数据上传至hdfs中 2. 执行统计1 3

suncf1985 2014-06-26   659   0

MapReduce 单元测试框架 MRUnit 0.5-incubating 发布 资讯

MRUnit是由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架,基本原理是JUnit4和 EasyMock。MR就是Map和Reduce的缩写。MRUnit框架非

jopen 2011-11-28   9553   0

Cloudera 大数据平台战略浮出水面,剑指IBM 资讯

伴,而不是竞争对手,他们都是Hadoop社区贡献最大的成员,例如Hortonworks推动了YARN的开发,让所有 Hadoop生态圈 成员都从中受益。 在Hadoop战场上,Cloudera的目

jopen 2013-10-26   7547   0

Storm、Spark和MapReduce 开源分布式计算系统框架比较 资讯

Spark Streaming 分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于

jopen 2015-10-15   16466   1
Spark  
P43

  Hbase教案 文档

HBase™ is the Hadoop database, a distributed, scalable, big data store. Apache Hbase 是hadoop数据库,一个分布式的,可扩展的大数据存储。

hz.love 2017-08-03   866   0
P10

  编译和使用 hive-hbase-handler.jar 文档

r组件,发现在hive中查询HBase表存在问题。 准备:        编译这个jar包需要hadoop和hbase的相关jar包和hive的hbase-handler代码。我是在windows上使

hans511002 2012-06-24   8842   0
P45

  大数据应用解决方案 文档

3.2.4. 挖掘 21 3.3. 大数据处理的核心技术-Hadoop 21 3.3.1. Hadoop的组成 22 3.3.2. Hadoop的优点: 25 3.3.2.1. 高可靠性。 25 3.3

guet_lee 2017-01-12   2609   0

Dpark源码剖析 经验

ark类似于hadoop,逐渐成长为一种生态系统。如下图所示,其上层包含了一系列计算工具,包括: Shark for SQL,查询hadoop数据的分布式SQL查询引擎,类似于hadoop上的hive,但效率更高。

大数据分析技术生态圈一览 资讯

这是一种用于分析数据的大规模并行处理(MPP)内存数据库。 惠普Vertica 这是一款SQL on Hadoop大数据分析平台。 Mammothdb 这是一款与SQL兼容的MPP分析数据库。 微软SQL

勿忘初心321 2016-01-08   26145   0

Spark on Yarn 经验

最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多,在实施的过程中,开到一些Spark相关的YARN的部署上都是基于之前的Hadoop

jopen 2015-01-10   29664   0
P32

  HDFS原理与实现@百度 文档

解决方案 3. 什么是Hadoop?基础架构(infrastructure) Reliable Scalable Distributed computing 4. Hadoop发展史 5. 什么是HDFS

jelly0812 2011-12-29   4274   0

IT屌丝如何成为数据科学家? 资讯

Wabbit 和 OpenNLP 等库也为大多数常见算法提供了经过验证的实现方法。如果你还不太熟悉 Hadoop,学习 map-reduce、 Pig 、 Hive 和 Mahout 将很有帮助。 Python

jopen 2013-09-26   22708   0

QCon专访彭渊:Fourinone是俄罗斯套娃中最小的一个 资讯

淘宝Fourinone是一个自主研发的分布式并行计算框架,它集成了Hadoop、ZooKeeper、MQ、分布式缓存四大主要的分布式计算功能,Fourinone的功能强大用途广泛,它实现了ZooKee

fourinone 2012-10-21   15218   0
P31

  HiveQL 应用培训 文档

HUE应用 6. SQL GUI客户端修改Hive连接库设置 7. SQL GUI客户端2 8. Hadoop 家族成员HadoopHDFSMapReduceHiveHBaseZooKeeper分布式文件

sulinixl 2012-08-02   4762   0
1 2 3 4 5 6 7 8 9 10