Oozie 开源项目

Oozie是Yahoo针对 Apache Hadoop 开发的一个开源工作流引擎。用于管理和协调运行在Hadoop平台上(包括:HDFS、Pig和MapReduce)的Jobs。Oozie是专为雅虎的

码头工人 2019-01-17   1380   0
P51

  自己动手写网络爬虫(二) 文档

URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class

Wyh_D_Void 2011-05-23   890   0

研发 | 服务端构架干货:快节奏多人游戏的技术实现 资讯

统,让玩家得到最小的延迟的体验,达到几乎和本地单机游戏一样的效果。 二、快节奏多人游戏:客户端预测+服务器比对 前言 在本系列的第一章中,我们探讨过一种权威服务器与哑客户端的C/S模型:仅

jopen 2015-12-31   13225   0

百度测试极速智能搜索:实时反馈搜索结果 资讯

日消息,百度近日上线极速智能搜索,直接实现一边输入字词一边即可实时反馈搜索结果,为向“极速”与“智能预测”两大未来搜索引擎方向迈进。 百度称新搜索方式由三大特点。首先,在提升传统搜索交互机制方面

jopen 2014-08-21   7235   0
百度  

LightRNN:深度学习之以小见大 经验

ing matrix)从 one-hot 向量(其维度与词汇表大小相同)映射到一个词向量。然后为了预测下一词的概率,通过输出嵌入矩阵(output-embedding matrix)将隐藏层映射到词汇

mjvfwnarao 2016-12-29   9590   0

HDFS NameNode重启优化 经验

一、背景 在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键。

ReinaldoBoe 2017-03-06   8589   0

Apache Spark入门攻略 经验

和资金去储存和挖掘大量数据,并对其挖掘从而获得洞见。然而,被雅虎2009年开源的Apache Hadoop对这一状况产生了颠覆性的冲击——通过使用商用服务器组成的集群大幅度地降低了海量数据处理的门槛。因此,许多行业(比如Health

cebp 2015-07-12   61974   0
P23

  WEKA 入门教程 文档

标进行预测。为了实现这一目的,我们需要有一个训练数据集,这个数据集中每个实例的输入和输出都是已知的。观察训练集中的实例,可以建立起预测的模型。有了这个模型,我们就可以新的输出未知的实例进行预测了。衡量模型的好坏就在于预测的准确程度。

ketlysun 2012-01-06   6087   0
P11

  视频压缩技术的系统考虑 文档

色度格式)。视频编码基于运动补偿预测(MC) 原理错误!未找到引用源。,变换与量化及熵编码。图 2 说明的是一种典型的、基于运动补偿的视频编解码技术。在运动补偿中,通过预测与最新编码的("参考")视频帧

bugci 2012-04-23   3454   0

用于语义分割的全卷积网络(UC Berkeley) 经验

的输出。我们定义并指定全卷积网络的空间,解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用。我们改编当前的分类网络(AlexNet [22]

wbx103 2016-12-21   63532   0

Scala 机器学习框架:Conjecture 经验

Conjecture 是 Esty 开发的构建机器学习模型框架,在 Hadoop 中使用 Scalding DSL 构建。Conjecture 的目的是允许静态统计模型在广泛的产品设置中作为可变组件。

jopen 2015-08-09   10770   0

Spark:一个高效的分布式计算系统 经验

Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架, Spark基于map reduce算法实现的分布式计算 ,拥有Hadoop MapReduce所具有的优点;但

jopen 2014-05-27   14535   0
P16

  Hive 学习 文档

是什么 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive

xsh1019 2013-01-05   692   0

机器学习与数据挖掘-logistic回归及手写识别实例的实现 经验

最为假设函数来预测。g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下,线性回归假设函数只是 。 logistic回归用来分类0/1问题,也就是预测结果属于0或者

jopen 2016-01-18   24809   0

看了这篇文章,了解深度卷积神经网络在目标检测中的进展 资讯

候选区域的分类和边框拟合的结合是通过一个双任务的网络结构:使用两个全连接的输出层分别进行类别预测和边框预测 (如上图所示),将这两个任务进行同时训练,利用一个联合代价函数: 公式中的两项分别是

jopen 2017-04-26   26494   0

机器学习可视化:模型评估和参数调优 经验

'bad')都是“耍流氓”。某个机器学习模型若可“驾驭”小样本数据集生成最多预测模型(即,命中更多预测数据集)。如果一个拟合模型比其它拟合过的模型形式或者你昨天的预测模型能够得到更好的结果,那即是好('good')。 下面是一些标准指标:

hldirdsdjs 2016-10-24   25218   0
P21

  分布式基础学习 文档

些实现的代码和示例,色彩有些斑驳,缺少了点感性。幸好我们还有OpenSource,还有HadoopHadoop是一个基于Java实现的,开源的,分布式存储和计算的项目。作为这个领域最富盛名的开源项目

hadoopfans 2010-11-20   5861   0

网易大数据平台的Spark技术实践 经验

ys)。 在批处理方面,MapReduce(MR)已经证明其为最有效的工具,随着MR的开源实现Hadoop为代表的大数据分析技术的普及,其在大处理方面的能 力已经得到认可,但是它更适用于对集群上大数据

jopen 2014-12-19   64036   0

Docker应用场景 经验

Foundry平台来搭建自己的PaaS环境等。 本文主要介绍docker在大数据方面的应用,经过一段时间的研究和实际操作,提出了Hadoop on Docker架构。大概思路就是将硬件(或云服务器)通过Docker搭建成为一个“超级服

jopen 2016-01-17   22611   0

Apache基金会宣布Apache Eagle成为顶级项目 资讯

是一个开源监视和警报解决方案,用于智能实时地识别大数据平台上的安全和性能问题,例如 Apache Hadoop,Apache Spark 等。 “我们很自豪 Eagle 能顺利度过孵化过程,并作为 Apache

jopen 2017-01-10   9828   0
Apache  
1 2 3 4 5 6 7 8 9 10