Quartz应用与集群原理分析 经验

Quartz是Java领域最著名的开源任务调度工具。Quartz提供了极为广泛的特性如持久化任务,集群和分布式任务等,其特点如下: 完全由Java写成,方便集成(Spring) 伸缩性 负载均衡 高可用性 任务调度其他方案

ymc4 2015-02-11   33946   0

如何在Hadoop 2.0上实现深度学习? 经验

我们需要将算法的运行适配到分布式环境。在通用的分布式计算环境中运行机器学习算法,这本身有它 自己的挑战。 下面我们就将一起探讨如何将深度学习(最前沿的机器学习框架)部署到Hadoop的集群中。还将

jopen 2015-03-11   21678   0

Linux容器演变历程与未来发展前景 资讯

Linux容器作为一类操作系统层面的虚拟化技术成果,旨在立足于单一Linux主机交付多套隔离性Linux环境。与虚拟机不同,容器系统并不需要运行特定的访客操作系统。相反,容器共享同一套主机操作系统内核,同时

jopen 2016-02-01   21798   0
Linux  

百度HDFS集群的数据压缩实现大数据的储存 博客

Distributed File System,简称HDFS,是一个分布式文件系统。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low- cost)硬件上。而且它提供高吞吐量(high

openkk 2012-08-12   2093   0

Pulsar:来自eBay的开源实时分析平台 资讯

实时Session化、多维度量聚 合等功能,并具有每秒百万级流量处理能力和基于标准的分布式和跨越多个数据中心云部署架构等特征。 作为全球性的商务平台和支付行业领先者,eBay拥有海量的用户行为数据

n7w77 2015-03-19   10283   0
Pulsar  
P35

  浙江移动数据中心操作系统实践分享 文档

IOE VS 去IOE? ITIL 瀑布式开发 VS DEVOPS 敏捷开发? 集中式架构 VS 分布式架构? 商业 VS 开源? 打破竖井、应用和平台解耦、打破供应商绑定 敏捷建设、聚焦支撑业务 统一

wangxuqiao 2017-01-05   1887   0
P8

  rsync+inotify实现实时同步案例 文档

1 inotify介绍 2.1 rsync+inotify同步逻辑图 3.1 环境部署 4.1 inotify-slave部署 4.1.1检查是否安装rsync 4.1.2 新建rsync用户及模块目录并更改其用户组

xxstong 2016-09-17   4187   0
Linux  

一位老码农的编程简史 博客

2004,全面开始学习Linux系统,深入学习文件系统,同时在Windows/Linux大量编写程序,编译和裁剪Linux内核,编写了BootU工具。 2005,研究课题正式开题,研究网格计算与分布式存储,Globus/A

jopen 2012-05-30   2306   0

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎 经验

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。

jopen 2014-09-01   86773   0

Google Dremel 原理 - 如何能3秒分析1PB 经验

MapReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之 初,Dremel并非是MapReduce的替代品,它只是可以执行非常

jopen 2012-10-24   66522   0
P8

  Google Dremel 原理-如何能3秒分析1PB 文档

apReduce一样,Dremel也需要和数据运行在一起,将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之初,Dremel并非是MapReduce的替代品,它只是可以执行非常快

beijixing022 2013-12-12   363   0
Go  

Hadoop年度回顾与2016发展趋势 资讯

原文 http://h2ex.com/569 董西成,Hulu 网,专注于分布式计算和资源管理系统等相关技术。《Hadoop 技术内幕:深入解析 MapReduce 架构设计与实现原理》和《Hadoop

码头工人 2015-12-30   20231   0
Hadoop  
P54

  NoSql 数据库详细介绍入门经典 文档

运维经验 Metrics 配置管理 Darkmode 进程管理 硬件 代码协同经验 Review制度 部署管理 团队沟通 Cache 云计算架构 反模式 单点失败(Single Point of Failure)

freesian 2013-01-16   596   0

新一代数据库技术在双11中的黑科技 经验

数据库上云面临以下几个难点: 数据库如何上云,并快速构建混合云? 如何降低虚拟化带来的性能损耗? 公有云环境和内部网络的互通问题。 经过几年的探索,这些难点都已得到解决。第一,高性能ECS可以和物理机性

BucVardon 2017-12-22   37500   0

开源数据处理引擎 GeoTrellis 发布 资讯

开源数据处理引擎,供高性能应用使用。 收集不断增长的地理数据,其目的是为了更好地理解我们身边的环境,并更快做出结论。为了处理如此海量的地理信息数据,人人常常使用成熟的 GIS( 地理信息系统 )。GeoTrellis

jopen 2012-05-07   20261   0

Container技术一览 经验

Technologies:用这些技术可以在一个分布式的容器集群中运行应用; Container Platform Technologies:这些技术可以打造一个完整的平台,用来在容器集群中运行分布式应用; Container-Native

OdeSwint 2016-02-26   41817   0
Docker   开源  

ZooKeeper运维经验 经验

er-ops/ ZooKeeper 是分布式环境下非常重要的一个中间件,可以完成动态配置推送、分布式 Leader 选举、分布式锁等功能。在运维 AliExpress ZooKeeper

jopen 2015-03-21   21628   0
P26

  SOA系统架构调研 文档

SOA的价值在于跨越了不同应用系统、不同技术的整合,这种整合改变现有的商业模型。 SOA是在计算环境下设计、开发、应用、管理分散的逻辑(服务)单元的一种规范。这个定义决定了SOA的广泛性。SOA要求

zbb15326 2015-08-09   2455   0
P26

  SOA 系统架构调研 文档

SOA的价值在于跨越了不同应用系统、不同技术的整合,这种整合改变现有的商业模型。 SOA是在计算环境下设计、开发、应用、管理分散的逻辑(服务)单元的一种规范。这个定义决定了SOA的广泛性。SOA要求

cicadalwingsl 2012-07-02   3928   0
P70

  nosql数据库学习教程 文档

配置管理 5 Darkmode 5 进程管理 5 硬件 5 代码协同经验 5 Review制度 5 部署管理 5 团队沟通 5 Cache 5 云计算架构 5 反模式 5 单点失败(Single Point

peixy 2016-11-03   1130   0
1 2 3 4 5 6 7 8 9 10