P21

  云服务平台介绍 文档

短短几年就产生巨大的影响力,不亚于IT业中的又一场革命。 云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing) 和网格计算(Grid Computing)的发

orangeking 2012-06-29   765   0

Presto DB 简介 经验

工具直观展现,因为 HIVE 太慢或者 ODBC 还不可用。 Presto 是由facebook开发的一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL,包括复

jopen 2015-11-21   19768   0

淘宝高性能架构简介 经验

场景非常广泛。有浏览器缓存、反向代理缓存、页面缓存、对象缓存等 tair是淘宝的一个高性能、分布式、可扩展、高可用性的key-value结构的存储系统。 非持久化: mdb引擎: 只支持key/value,单机性能7w

jopen 2013-05-19   58754   0
淘宝  
P17

  Zookeeper 入门 文档

分布式服务框架 Zookeeper(一篇非常好的介绍zookeeper的文章) 许 令波, Java 工程师, 淘宝网 许令波,现就职于淘宝网,是一名 Java 开发工程师。对大型互联网架构设计颇感

mvpzhou 2013-10-08   554   0
P45

  大数据应用解决方案 文档

16 3.1.1.5. 数据质量和数据管理 17 3.1.2. 存储数据库 17 3.1.3. 分布式计算技术 18 3.2. 大数据处理过程 20 3.2.1. 采集 20 3.2.2. 导入/预处理

guet_lee 2017-01-12   2609   0
P230

  Hadoop之HBase从入门到精通 文档

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google

ijamesbond 2015-03-17   6869   0

基于Hadoop的大规模网络流量分析 经验

考 虑使用分布式的方法。而分布式计算平台Hadoop以及依托在Hadoop平台下的MapReduce框架为解决这类问题提供了良好的支撑。Hadoop 是Apache的一个子项目主要由分布式文件系HDF

jopen 2015-07-30   14958   0

五种基于 MapReduce 的并行计算框架介绍及性能测试 经验

间内完成相应的处理,只有将这些计算进行并行化处理,通过提取出处理过程中存在的可并行工作的分量,用分布式模型来实现这些并行分量的并行执行过程。随着技术的发展,单机的性能有了突飞猛进的发展变化,尤其是内存

jopen 2015-07-15   71471   0
P23

  Docker技术与实践 文档

Docker的生态圈 认识Docker Docker VS VM Docker的原理 Docker文件系统Docker三大核心 Docker操作-仓库 Docker操作-镜像 Docker操作-容器 Docker操作-Dockerfile

ybnd 2016-02-04   713   0

大数据(七) - Flume 经验

 -F)等 flume可以和log4j配合使用 sink:取出channel中的数据,输出到存储文件系统,数据库,或远程服务器 多种实现方式如Avro sink、HDFS Sink、HBase Sin

jopen 2016-01-20   13661   0

Elasticsearch - 配置详解 经验

gateway.type: local gateway的类型,默认为local即为本地文件系统,可以设置为本地文件系统分布式文件系统,hadoop的HDFS,和amazon的s3服务器。 gateway.

jopen 2015-11-04   11927   0

面向Hadoop框架的高级语言: Apache Pig 经验

合适的集群,同时监 视这个作业的在集群环境中的整个执行过程。 MapReduce在每台机器上进行分布式计算的框架(算法)。 HDFS最终存储数据的部分。 与Hive对比 Language:在H

jopen 2014-12-04   22140   0

Oozie的学习笔记 经验

理任务。 Oozie为以下类型的动作提供支持: Hadoop map-reduce、Hadoop文件系统、Pig、Java和Oozie的子工作流(SSH动作已经从Oozie schema 0.2之后的版本中移除了)。

jopen 2014-11-17   28776   0

2014年值得关注的9项技术 资讯

生不清晰的代码以及不易使用的接口。这时可以看看 Google 的服务,无论是数据库、文档还是各种文件系统都行。Apache Solr 值得你好好看看。 6. PaaS 无论是公有云还是自己的私

jopen 2014-01-14   7699   0
技术  

hadoop安装配置 经验

hadoop 的初次运行操作 格式化 hdfs 文件系统 进入 hadoop-0.20.2/bin 当你看到下图时 恭喜你, hdsf 文件系统格式化成功 启动 hadoop 服务

jopen 2015-03-25   17371   0

[Apache Kafka]构建Kafka集群 经验

nsumers。ZooKeeper允许分布式进程通过一个共享的层级数据寄存器命名空间相互协调(这些数据寄存器被称为znode),就像文件系统一样。它跟标准文件系统的区别是,每个znode可以拥有关联的

jopen 2016-01-02   20120   0

云存储架构三种经典流派全解读 经验

文件共享服务是企业存储的刚性需求。根据IDC 2012数据,65%的数据存储是以文件的形态存在的,大量传统应用需要使用文件系统作为存储媒介。现在大量企业应用往云平台上迁移,自然对传统NAS服 务在虚拟化环境下的实现有强烈的

jopen 2015-01-06   35110   0
P8

  淘宝网高性能可伸缩架构技术探秘 文档

务器将session保 存到缓存中,session服 务器后端再配有底层持久性数据源,比如数据库,文件系统等等。 二、有效使用缓存 做互联网应用的兄弟应该都清楚,缓存对于一个互联网应用是多么的重要,从浏

shockwave 2014-01-07   431   0
P7

  淘宝网采用什么技术架构来实现网站高负载的 文档

就结合淘宝目前的一些底层技术框架以及自己的一些感触来说说如何构建一个可 伸缩,高性能,高可用性的分布式互联网应用。 一 应用无状态(淘宝session框架)        俗话说,一个系 统的伸缩性的

zhihuaozu 2011-12-30   630   0

使用Nginx+Lua(OpenResty)开发高性能Web应用 经验

;对于这种应用非常简单,不需要依赖数据源,直接单应用闭环即可。 2.2、第二张图,是读取本机文件系统,如静态资源合并:比如访问 http://item.jd.com/1856584.html ,查看源码会发现【

LauVega 2016-03-06   106125   0
1 2 3 4 5 6 7 8 9 10