镜像与配置,以及他们如何能帮助你的团队更有效地工作。 STASH Stash 是个 Git 代码管理和协作工具。Stash 允许将部署节点集群化,从而减少活动主机的停机时间,且不会对每个添加的节点造成性能影响。Stash 还集成了
镜像与配置,以及他们如何能帮助你的团队更有效地工作。 STASH Stash 是个 Git 代码管理和协作工具。Stash 允许将部署节点集群化,从而减少活动主机的停机时间,且不会对每个添加的节点造成性能影响。Stash 还集成了
scheduling) and HDFS (distributed file system). 分布式编程Distributed Programming AddThis Hydra - distributed
hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对
人工智能(Artificial Intelligence) – 研发智能机器和智能软件,这些智能设备能够感知周遭的环境,并根据要求作出相应的反应,甚至能自我学习 B 行为分析法(Behavioural Analytics)
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase 是Google
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google
ZooKeeper能做什么命名服务 在zookeeper的文件系统里创建一个目录,即有唯一的path 配置管理 程序总是需要配置的,如果程序分散部署在多台机器上, 要逐 个改变配置就变得困难。现在把这些配置全部放到zookeeper上
搜索引擎,以及搜索引擎背后的事件。重点部分是百度这套开源的基础架构软件站,它包括分布式数据库、文件系统、管理系统、分布式协调服务、网络通信框架。下面来一一介绍。 当前,用户通过互联网搜索引擎的期望
che的Kafka,关于Kafka集群部署,大家可以参考我写的《 Kafka实战-Kafka Cluster 》。另外,有一部分数据是流向HDFS分布式文件系统了的,方便于为离线统计业务提供数据源。 Stream
HDFSHadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。
《Docker发布新的跨容器的分布式应用编排服务》 :12 月4日,Docker宣布发布跨容器的分布式应用编排服务,编排服务可以帮助开发者和运维人员创建并管理新一代的可移植的分布式应用程序。也许这次的 Do
Dpark/Spark中最重要的核心就是RDD(弹性分布式数据集,Resilient Distributed Datasets),为了给今后的分析打下基础,这篇文章首先会解释RDD相关的重要概念。接着
打包你代码、测试以及部署,并且也可以减少从编写代码到部署运行代码的周期。 Docker将一个轻量级的容器虚拟化平台和一组标准工作流程、工具进行集成,来帮助你方便地管理和部署应用。 核心
Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。
Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。
Hbase分析报告 本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分散式开源数据库,基于Hadoop分散式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。
本身正是CMU的博士生,却得到了best paper,足可见其功力之深。 本文的核心思想就是尝试解决分布式文件系统中metadata (元数据)管理的问题: 比如在做N-N Checkpointing的时候产生的高并发metadata操作;
on job)。 官网 Singularity :Singularity是一个Mesos框架,方便部署和操作。它支持Web Service、后台运行、调度作业和一次性任务。 官网 代码分析 测量代码指标和质量工具。
HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点: 1)适合存储非常大的文件 2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式 3)适合部署在廉价的机器上