大数据技术的回顾与展望 ——写在Hadoop十周年纪念 资讯

编者按 今天是Hadoop十岁生日。于2006年1月28日诞生的它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。InfoQ策

jopen 2016-01-28   56044   0

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎 经验

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,

jopen 2014-09-01   86773   0

针对Hadoop数据处理应用程序的新分布式执行框架: Apache Tez 经验

你可能听说过 Apache Tez ,它是一个针对 Hadoop 数据处理应用程序的新分布式执行框架。但是它到底是什么呢?它的工作原理是什么?哪些人应该使用它,为什么?如果你有这些疑问,那么可以看一下

jopen 2014-10-13   30952   0

hadoop2.5.2HA高可靠性集群搭建(zookeeper3.4.6+hbase0.98.11) 经验

hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。 一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的N

xmnx 2015-03-23   22084   0
P6

  大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 文档

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术 2014-07-16 13:51 大 数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm

tony2007 2015-06-19   2795   0
P5

  10分钟内理解云计算分布式大数据处理框架Hadoop 文档

家林会带您在10分钟内理解云计算分布式大数据处理框架Hadoop并开始动手实践,倒计时开始…… 第1分钟: Hadoop要解决的问题是什么? 答:Hadoop核心要解决长期IT界乃至人类社会的两大主题: 1,

xcxc 2015-08-23   651   0
P25

  Apache Hadoop2.0 下一代数据处理框架介绍 文档

Apache Hadoop 2.0 下一代数据处理框架介绍 2. 主要内容Hadoop 1.0 的局限性 Hadoop 2.0 新特性介绍 Hadoop现状及最新进展 3. Hadoop1.0的局限-

pnx8 2014-08-17   3282   0

容器和微服务在Hadoop生态系统中找到一席之地 经验

容器和微服务凭借构架上的灵活优势,已经杀进了Hadoop生态系统。分别位于德国和美国两家公司的技术高管对此提出了自己的观点。 最近关于大数据的实践多是基于裸机的,这意味着Hadoop已经在非虚拟服务器上被广为实现

jsho1213 2016-11-10   11218   0
P6

  用Hadoop搭建分布式存储和分布式运算集群 文档

用Hadoop搭建分布式存储和分布式运算集群 用Hadoop搭建分布式存储和分布式运算集群 1. 列出使用的机器 普通PC,要求: cpu: 750M-1G mem: >128M disk: >10G

daibiao 2012-06-13   5156   0

数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径(分享) 经验

Hadoop让大数据分析走向了大众化,然而它的部署仍需耗费大量的人力和物力。在直奔Hadoop之前,是否已经将现有技术推向极限?这里总结了对Hadoop投资前可以尝试的10个替代方案,省时、省钱、省力,何乐而不为?

jopen 2014-08-31   16681   0

Hadoop2.3、 Hbase0.98、 Hive0.13架构中Hive的安装部署配置以及数据测试 经验

简介: Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。

jopen 2015-01-13   23366   0

中国移动集中化BI探索:数据仓库与Hadoop混搭 资讯

智能(BI)应用为运营商带来了巨大机遇。 对此,中国移动研究院业务支撑所所长孙少陵日前在“Hadoop与大数据技术大会”上对于运营商的大数据商业智能探索进行了详细介绍。 机遇与挑战并存 如

jopen 2013-01-04   16327   0
Hadoop  

hadoop2.x 完全分布式详细集群搭建(图文:4台机器) 经验

168.79.101 hadoop1 192.168.79.102 hadoop2 192.168.79.103 hadoop3 192.168.79.104 hadoop4 一:准备 1

jopen 2015-11-04   33701   0

AI杀入影视圈:算法再造李佳琦,中戏开招AI博士 资讯

能博士生背后,人工智能已经瞄准在影视制作方向的应用与研究。在好莱坞,电影制片人已经运用 AI 预测电影票房。从荧幕内到荧幕外,AI 正在改变影视行业。 2020 年开场不久,AI 与影视行业正迎来新变动。

五嘎子 2020-01-16   2681   0
AI  

王栋: 要做好推荐,只有技术是不够的 资讯

,他实现了展示及效果广告的流量预估,在线匹配及用户定向等多项核心技术的大规模应 用,另外,他在电影票房预测等数据挖掘的前沿方向也取得了突破。王栋目前关注O2O领域中的数据、算法及平台化问题,期望借助智能技术,更方便快捷地满足

jopen 2015-12-08   28480   0
推荐  

斯坦福大学怎样讲“情感分析” 经验

009年5月份开始慢慢恢复) l Twitter sentiment: 通过Twitter用户情感预测股票走势,2012年5月,世界首家基于社交媒体的对冲基金 Derwent Capital Markets

jopen 2015-01-12   255084   0

大数据领域的顶级开源工具大集合 资讯

都在使用开源来处理大数据和运行预测分析。本文介绍了一些大数据方面的顶级开源工具,分为四个领域:数据存储,开发平台,开发工具和集成,分析和报告工具。 随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。

jopen 2014-04-15   32973   0

2014 年八大最热门的大数据工作 资讯

可热的原因之一是:在企业大数据应用的早期阶段, Hadoop只是穷人的ETL 。 二、Hadoop开发者(15-17.5万美元) Hadoop是基于Java的开源框架,随着数据集规模不断增大,

jopen 2014-01-16   13983   0

推升R成为支持企业端与云端跨平台分析的企业标准 资讯

On-Premises and in the Cloud 不到一年前,我们决定买下 R,最广为采用的统计运算与分析预测程序语言,在商用软件与服务领域的领导厂商 Revolution Analytics 公司 ( 请参考:

jopen 2016-02-18   23299   0

实时股票分析系统的架构与算法 资讯

、甚至是 Tweet 都有可能引起市场的变动,但是在这个市场上,使用不同的模型通过股票的历史价格来预测未来的价格依然是一种常见的实践。一个实时的股票分析系统不仅需要将 影响股票价格的各种数据集合起来进

jopen 2015-12-09   20197   0
算法  
1 2 3 4 5 6 7 8 9 10