0推荐
20K 浏览

详解Hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。
0推荐
15K 浏览

基于Hadoop的大规模网络流量分析

在网络流量的分析中,基于流的分析被大多数ISP所采用,分析系统一般部 署在一台高配置的服务器中。如由CERT网络势态感知团队(CERT-NetSA)开发的用于大规模网络安全分析的网络交互分析工具...
0推荐
20K 浏览

腾讯TDW:大型Hadoop集群应用

TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且...
0推荐
15K 浏览

Hadoop的Server及其线程模型分析

Listener线程,当Server处于运行状态时,其负责监听来自客户端的连接,并使用Select模式处理Accept事件。 同时,它开启了一个空闲连接(Idle Connection)...
0推荐
292K 浏览

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了...
0推荐
38K 浏览

MapReduce-Hadoop分布式计算模型

MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce(...
0推荐
22K 浏览

怎样利用Spark Streaming和Hadoop实现近实时的会话连接

这个 Spark Streaming 样例是一个可持久化到Hadoop近实时会话的很好的例子。 Spark Streaming 是Apache Spark 中最有趣的组件之一。你用Spa...
0推荐
19K 浏览

解析Hadoop 的集群管理与安全机制

当前大一点的公司都采用了共享Hadoop集群的模式,这种模式可以减小维护成本,且避免数据过度冗余,增加硬件成本。共享集群类似于云计算或者云存储,面临的一个最大问题是安全。本文就对Hadoop 的...
0推荐
9K 浏览

Hadoop集群三种作业调度算法介绍

Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法
0推荐
49K 浏览

从Hadoop到Spark的架构实践

当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其...
0推荐
12K 浏览

Hadoop环境搭建过程中可能遇到的问题

1、集群启动的时候,从节点的datanode没有启动 问题原因:从节点的tmp/data下的配置文件中的clusterID与主节点的tmp/data下的配置文件中的clusterID不一...
0推荐
19K 浏览

Hadoop yarn完全分布式安装笔记

Hadoop yarn完全分布式安装笔记
0推荐
14K 浏览

Hadoop完全分布式模式的配置与安装

接下来有可能会用到Hadoop相关的知识, 所以这几天就在Vmware里面尝试着搭建了一下. 感觉还行. 所以趁着还记得, 就写下这篇博客, 帮助自己以后回顾, 也帮助那些准备接触Hadoop的...
0推荐
11K 浏览

基本hadoop文件操作

基本hadoop文件操作
0推荐
16K 浏览

Hadoop深入学习:MapTask详解

我们主要来学习MapTask的内部实现。
0推荐
15K 浏览

ubuntu14.04 安装hadoop

ubuntu14.04 安装hadoop
0推荐
14K 浏览

微博广告推荐中有关Hadoop的那些事

微博,一个DAU上亿、每日发博量几千万的社交性产品,拥有庞大的数据集。如何高效得从如此规模的数据集中挖掘出有价值的信息,以增强用户粘性,提 高信息传播速度,就成了重中之重。因此,我们引入了had...
0推荐
26K 浏览

如何高效的阅读hadoop源代码?

个人谈谈阅读hadoop源代码的经验。 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你...
0推荐
140K 浏览

后Hadoop时代的大数据架构

提 到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代,...
0推荐
13K 浏览

使用hadoop平台进行小型网站日志分析

0.上传日志文件到linux中,通过flume将文件收集到hdfs中。
1 2 3 4 5 6 7 8 9 10

经验分享,提升职场影响力

投稿

热门问答

    热门文档