• 兼顾稳定和性能,58大数据平台的技术演进与实践

     发表于 1 年 前

    58大数据平台在最近一年半的时间内技术演进的过程。主要内容分为三方面:58大数据平台目前的整体架构是怎么样的;最近一年半的时间内我们面临的问题、挑战以及技术演进过程;以及未来的规划...

  • HDFS Federation在美团点评的应用与改进

     发表于 1 年 前

    HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以...

  • HDFS NameNode重启优化

     发表于 1 年 前

    在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化Na...

  • HDFS NameNode内存全景

     发表于 2 年 前

    NameNode在整个HDFS系统架构中占据举足轻重的位置,内部数据和处理逻辑相对复杂,本文简单梳理了NameNode的内存全景及对其中几个关键数据结构,从NameNode内存核心...

  • 大数据技术hadoop入门理论系列之二—HDFS架构简介

     发表于 3 年 前

    HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。与其他分布式文件系统显著不同的特点是:...

  • 大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

     发表于 3 年 前

    做软件开发的都知道模块化思想,这样设计的原因有两方面: 一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” ...

  • 分布式文件系统HDFS简要介绍

     发表于 3 年 前

    HDFS 是Hadoop 项目中的文件系统。是Hadoop 框架的底层实现部分, 具有高传输率、高容错率等特点, 并且以流的形式访问文件系统中的数据,从而解决访问速度和安全性等问题...

  • 读取 HDFS 文件的正确方式

     发表于 3 年 前

    读取 HDFS 文件的正确方式...

  • 【Hadoop】HDFS的运行原理

     发表于 3 年 前

    HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File Sy...

  • Hadoop分布式文件系统HDFS介绍

     发表于 3 年 前

    HDFS是Hadoop Distribute File System 的简称,也就是Hadoop分布式文件系统。 ...

  • HDFS-RAID原理和实现

     发表于 3 年 前

    HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案,对HDFS的修改极少,主要包括为NameNode增加了根据b...

  • hadoop HDFS 的PHP扩展:phdfs

     发表于 4 年 前

    phdfs是一个采用C语言的实现的PHP扩展,能够使用PHP来操作Hadoop HDFS文件系统。...

  • HDFS API详解

     发表于 4 年 前

    Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。 ...

  • java实现对HDFS增删改查(CRUD)等操作

     发表于 4 年 前

    实现对HDFS增删改查CRUD等操作 ...

  • HDFS Java文件API示例

     发表于 4 年 前

    HDFS Java文件API示例...

  • Hadoop java操作HDFS

     发表于 5 年 前

    hfds 是一种文件系统,用于存储hadoop将要处理的数据。适用于大规模分布式数据处理,是一个可扩展行的文件分布式系统; ...

  • HDFS 原理、架构与特性介绍

     发表于 5 年 前

    本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制 ...

  • HDFS架构设计

     发表于 5 年 前

    HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点: 1)适合存储非常大的文件 2)适合流式数据读取,即适合“只写一次,读多次”的...

  • HDFS文件操作

     发表于 6 年 前

    HDFS是一种文件系统,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是他是实现了google的GFS文件系统的思想,是适用于大规模分布式数...