每天TB级数据处理,携程大数据高并发应用架构涅槃 经验

模型和具体应用的场景。 计算的涅磐,可以从横向和纵向考虑:横向主要是增加并发度,首先想到的是分布式。纵向拆分就是要求我们找到计算的结合点从而进行分层,针对不同的层次选择不同的计算地点。然后再将各层

YY游戏私有云平台实践 资讯

0里,重点解决租户网络(VPC)的实现问题。出于前面提到的原因,我们并不打算采用OpenStack的租户网络方案。在充分调研和学习的基础上,自主设计了一套基于硬件的解决方案,其中VPC、子网、路由、云网关都采用硬件实现。架构图如下:

jopen 2016-01-12   22529   0
P43

  EMC 存储最佳实践培训手册 文档

activities) o 1.3 3.主机文件系统影响 § 1.3.1 A.文件系统的缓冲和组合(coalesce) § 1.3.2 B.最小化I/O的大小:文件系统的request size § 1.3

syskernel 2012-07-06   506   0
Linux   手册   培训  

性能调优攻略 博客

上,以及线程上下文切换的成本,怎么样的少用锁或不用锁是根本(比如: 多版本并发控制(MVCC)在分布式系统中的应用 中 说的乐观锁可以解决性能问题),此外,还有读写锁也可以解决大多数是读操作的并发的性

openkk 2012-06-20   2608   0

性能调优攻略 经验

上,以及线程上下文切换的成本,怎么样的少用锁或不用锁是根本(比如: 多版本并发控制(MVCC)在分布式系统中的应用 中说的乐观锁可以解决性能问题),此外,还有读写锁也可以解决大多数是读操作的并发的性能

byb1234 2015-04-15   39064   0
P17

  数据仓库实施策略 文档

据 分 析解决方案准备就绪解决方案实施建议现成解决方案规划数 据 仓 库 策 略 开 发业务 分析业务 分析解决 方案 定义逻辑 数据 模型 设计修改 逻辑数据 模型验证 解决 方案数据仓库的循环过程 5

kklion 2012-09-28   3079   0
P7

  hdfs命令 文档

bin/hadoop job -history all output-dir 5、 格式化一个新的分布式文件系统: $ bin/hadoop namenode -format 6、在分配的NameNode上,运行下面的命令启动HDFS:

开开123 2016-08-08   524   0

Hadoop集群 CentOS安装配置 经验

高效的锁定基元。 稳定的应用程序开发与生产平台 。CentOS 6.0是一个高性能、高度可扩展、分布式、基于内存的对象缓存系统,大大提高了动态Web应用程序的速度。在Web基础架构上主要改进了Apache、

jopen 2014-09-02   28066   0

企业应用通用架构图 经验

上图中,除了“硬件负载均衡”节点外,其它节点都可以部署成集群(DB有点特殊,传统RDBMS要实现分布式/集群还是比较困难的,要看具体采用的数据库产品,并非所有数据库都能方便的做Sharding),Jb

jopen 2015-01-06   17937   0

数据挖掘(5):使用mahout做海量数据关联规则挖掘 经验

也是无用,因此需要进行分布式计算,mahout是一个基于hadoop的分布式数据挖掘开源项目(mahout本来是指一个骑在大象上的人)。掌握了关联规则的基本算法和使用,加上分布式关联规则挖掘后,就可以

jopen 2015-08-30   18481   0

Docker与Ceph集成 经验

Docker与Ceph集成 Thu, Feb 4, 2016 介绍 Ceph是流行的分布式存储,同时提供块设备、对象存储和文件系统三种接口,能为物理机、虚拟机甚至是容器提供可靠的持久存储。 Docker通过volume

cmgk6331 2016-02-05   49621   0
Docker  

大数据相关技术、Hadoop生态、LinkedIn内部实战 经验

上结合Linkedin用户访问量,申请数做出的挖掘。我这里列出了最近3年,大家可以 做个判别和趋势分析,里面还是很大靠谱的,比如不少上榜名单已经成功IPO(GoPro. Hortonworks, Sp

jopen 2015-01-26   192894   0

Zookeeper 在Hadoop中的应用 经验

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

jopen 2015-06-24   24315   0

运营都会关心的10个问题! 经验

找到好的传播亮点。 了解行业最简单有效的方式应该就是,沉下下话个一周时间写出一份行业调研报告(俗称竞品调研)。想要完成对一款产品的深入了解,具体时间要多久我想是因产品而异的,像贴吧这样有历史感的产

Wendy32U 2016-11-13   5944   0

互联网江湖的“恩怨情仇” 资讯

通过我们中高端人才数据库,我们调取了曾在百度、阿里、腾讯和奇虎 360 四家互联网名企任一家工作过的员工数据,并分析了他们离开后 5 年内的跳槽轨迹,同时我们这四家企业的典型员工做了采访,综合得出了以下结论。 百度、阿里两大派系心心相印

jopen 2013-02-26   6264   0

使用 Azure、Hadoop 和 Mahout 构建一个推荐系统 经验

- 它运行了很多的Q&A网站,包括广受欢迎的Stack Overflow。 我们目前的任务是如何分析用户之前的回答,从而预测该用户今后所能回答的问题。 Stack Exchange 目前的推荐逻辑可

jopen 2013-07-17   33383   0
Hadoop   Mahout  
P8

  网络工程设计方案模板 文档

专业: 指导老师: 完成时间: 学号 姓名 负责 模块 《网路工程》方案设计 目 录 一、 网络需求分析………………………………………………………4 1.1 工程项目概况………………………………………………………4

gaochao123 2014-04-30   2313   0

Spark 1.6今天发布 资讯

te management十倍的性能提升),以及大量新的机器学习和统计分析算法。 性能提升 根据2015年Spark官方调研发现,91%的用户觉得性能提升是Spark最重要的方面。因此,性能优化是Spark开发一直的关注点。

jopen 2016-01-05   26489   0
Spark  

三星Tizen手机Samsung Z已胎死腹中? 资讯

操作系统的智能手机 Samsung Z 将推迟发售,但是并未给出具体的日期。目前还不清楚推迟的原因,但是有分析师称或许这款手机还未出世就已经夭折了。 周一,三星进行简短发言称在推出 Samsung Z 前,还需要更多的时间来“加强

jopen 2014-07-29   5215   0
Tizen  

fir.im Weekly - 30 天从 0 开始学 Swift 资讯

对新技术潮流的想法?“一切的决策都应该建立在认真分析的基础上,拥抱变化、理性分析、不盲从,也不 守旧”。 全篇文章请点击 这里 移动端图片格式调研 合理的图片格式选用和优化可以为你节省带宽、提

jopen 2015-11-04   34598   0
Swift  
1 2 3 4 5 6 7 8 9 10