0推荐
26K 浏览

兼顾稳定和性能,58大数据平台的技术演进与实践

58大数据平台在最近一年半的时间内技术演进的过程。主要内容分为三方面:58大数据平台目前的整体架构是怎么样的;最近一年半的时间内我们面临的问题、挑战以及技术演进过程;以及未来的规划。
0推荐
36K 浏览

HDFS Federation在美团点评的应用与改进

HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出...
0推荐
8K 浏览

HDFS NameNode重启优化

在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键。
ReinaldoBoe 2年前   
0推荐
16K 浏览

HDFS NameNode内存全景

NameNode在整个HDFS系统架构中占据举足轻重的位置,内部数据和处理逻辑相对复杂,本文简单梳理了NameNode的内存全景及对其中几个关键数据结构,从NameNode内存核心数据视角对Na...
0推荐
16K 浏览

大数据技术hadoop入门理论系列之二—HDFS架构简介

HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。与其他分布式文件系统显著不同的特点是:
0推荐
54K 浏览

大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储”
0推荐
19K 浏览

分布式文件系统HDFS简要介绍

HDFS 是Hadoop 项目中的文件系统。是Hadoop 框架的底层实现部分, 具有高传输率、高容错率等特点, 并且以流的形式访问文件系统中的数据,从而解决访问速度和安全性等问题,实现海量数据的存储管理。
0推荐
27K 浏览

读取 HDFS 文件的正确方式

读取 HDFS 文件的正确方式
jopen 4年前   
HDFS  
0推荐
14K 浏览

【Hadoop】HDFS的运行原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Go...
0推荐
17K 浏览

Hadoop分布式文件系统HDFS介绍

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop分布式文件系统。
0推荐
26K 浏览

HDFS-RAID原理和实现

HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案,对HDFS的修改极少,主要包括为NameNode增加了根据block信息找...
0推荐
54K 浏览

HDFS API详解

Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。
0推荐
67K 浏览

java实现对HDFS增删改查(CRUD)等操作

实现对HDFS增删改查CRUD等操作
jopen 5年前   
0推荐
16K 浏览

HDFS Java文件API示例

HDFS Java文件API示例
jopen 5年前   
0推荐
49K 浏览

Hadoop java操作HDFS

hfds 是一种文件系统,用于存储hadoop将要处理的数据。适用于大规模分布式数据处理,是一个可扩展行的文件分布式系统;
0推荐
186K 浏览

HDFS 原理、架构与特性介绍

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制
0推荐
25K 浏览

HDFS架构设计

HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点: 1)适合存储非常大的文件 2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式 ...
jopen 6年前   
0推荐
44K 浏览

HDFS文件操作

HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用...

经验分享,提升职场影响力

投稿

热门问答

    热门文档