大数据相关技术、Hadoop生态、LinkedIn内部实战 经验

),支付(Square),O2O App里面寻找下大机会。这里面很多公司我都亲自面试和感受过他们的环境,我下面有机会也会一一给大家详细介绍。 在Linkedin,它每年评选一个最有需求的创业公

jopen 2015-01-26   192894   0

关于Ceph现状与未来的一些思考 经验

Ceph从2004年提交了第一行代码,至今为止已经10年了。这个起源于Sage博士论文,最早致力于开发下一代高性能分布式文件系统的项目,现 在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展,Ceph乘上了Ope

fpcm 2015-05-01   27929   0

Spark 内核研究 经验

Analytics Stack)中的位置。可见Spark专注于数据的计算,而数据的存储在生产环境中往往还是由Hadoop分布式文件系统HDFS承担。 图1 Spark在BDAS中的位置 Spark被设计

jopen 2015-01-29   28746   0

大型网站系统架构的演化 经验

最初的架构,应用程序、数据库、文件都部署在一台服务器上,如图: 二、应用、数据、文件分离 随着业务的扩展,一台服务器已经不能满足性能需求,故将应用程序、数据库、文件各自部署在独立的服务器上,并且根据

jopen 2015-03-18   17537   0
架构  

解读大型网站系统架构的演化 经验

最初的架构,应用程序、数据库、文件都部署在一台服务器上,如图: 二、应用、数据、文件分离 随着业务的扩展,一台服务器已经不能满足性能需求,故将应用程序、数据库、文件各自部署在独立的服务器上,并且根据服务

jopen 2014-12-03   26948   0
架构  

大型网站系统架构演化之路 问答

最初的架构,应用程序、数据库、文件都部署在一台服务器上,如图: 二、应用、数据、文件分离 随着业务的扩展,一台服务器已经不能满足性能需求,故将应用程序、数据库、文件各自部署在独立的服务器上,并且根据服

jopen 2015-07-19   14552   1

一个Hadoop老兵的自白 资讯

中的文件,只能通过 HDFS 命令行接口来查询。 MapR-FS 是一个操作系统级的文件系统,兼容 POSIX。查看该分布式文件系统中的文件,只需要使用 LS 命令。编辑其中的文件,也不需要专门的工具。Linux

jopen 2015-11-27   6478   0
Hadoop  

阿里巴巴73款开源产品全向图 经验

nginx-tfs :nginx-tfs 是 Nginx 的扩展模块用于访问淘宝的 TFS 文件系统。 transmittable-thread-local :transmittable-thread-local

ZacheryWUN 2016-11-21   11229   0

架构经验系列文章 - 后端架构 - 架构层面 经验

所谓日志集中就是把程序的所有日志和异常信息的记录都汇总到一起,在只有一台服务器的时候我们记录本地文件问题也不是最大,但是在负载均衡环境下再记录本地日志的话就出现问题了。在想查看网站日志的时候到哪台机器去查都不知道,难道有100台机器

jopen 2014-07-27   15597   0

有关云架构建设和选型的思考 经验

时也会有一套开源的解决方案,如Windows之于 Linux,Google的MapReduce、GFS、大表之于Hadoop等。在云领域也存在相应的开源解决方案,目前最为著名的有 Openstack和

jopen 2014-08-25   41861   0

Hypertable 0.9.7.1 发布,类似Google's Bigtable的NoSQL数据库 资讯

上运行的可伸缩计算基础设施设计建造了三个关键部分。第一个关键的基础设施是Google File System(GFS),这是一个高可用的文件系统,提供了一个全局的命名空间。它通过跨机器(和跨机架)的文件数据复制来达到高可用性,并因此免受传统

jopen 2013-02-28   11679   0
P46

  WebSphere学习文档 文档

护)进行修改。 · 最终用户拥有用户数据,并可对其进行写操作。 通常情况下,用户数据包括配置文件、部署的应用程序、日志文件和临时工作区等,但是并不局限于这些。 之前,产品安装程序常将产品二进制文件和 WebSphere

javacfp 2011-10-17   6619   0

Docker 1.9 发布:Swarm 和跨主机网络进入 production-ready 阶段 资讯

Engine 提供了全新的存储卷管理系统,Docker Compose 对更多环境提供了更好的支持。所有的这些都为大规模部署生产环境下的分布式应用打下了坚实的基础。本文由灵雀云高级软件工程师刘梦馨编译,以下为译文:

jopen 2015-11-04   13398   0
Docker  

Scientific Linux 7.0 Beta 1 发布 资讯

Linux完全兼容,它也提供了上游产品中未收入的额外软件包,这当中最值得一提的是各种文件系统,包括Cluster Suite和Global File System(GFS)、FUSE、OpenAFS、Squashfs、Union

jopen 2014-07-26   10568   0

谷歌的海量数据排序实验史 经验

一致的机制,这项任务是无法完成的。我们怀疑,这是用作输入和输出结果存储的谷歌档案系统(GFS)所造成的限制。GFS的校验和保护不足,有时会返回损坏的数据。不幸的是,该基准测试所使用的文件格式并不包含任

iammatrix 2016-04-11   24340   0

用nginx图片缓存服务器 经验

,怎么也要测试一下吧 ? 创建文件系统的时候 Inode 问题也要加以考虑,选择合适大小的 inode size ,在空间和速度上做取舍,同时防患于未然,注意单个文件系统下文件个数别达到极限。 图片存储的技巧

jopen 2014-05-22   134065   0

使用Nginx+Lua(OpenResty)开发高性能Web应用 经验

合在一起成为OpenResty,这样开发人员就可以安装OpenResty,使用Lua编写脚本,然后部署到Nginx Web容器中运行。从而非常轻松就能开发出高性能的Web服务。 接下来我们就认识下

LauVega 2016-03-06   106125   0

深入浅出Docker(一):Docker核心技术预览 经验

ontainer容器技术可以把开发者从日常部署应用 的繁杂工作中解脱出来,让开发者能专心写好程序;从系统工程师的角度来看也是一样,他们迫切需要从各种混乱的部署文档中解脱出来,让系统工程师专注在应用 的

jopen 2014-12-27   53505   0
Docker  
P18

  网易大型应用架构与实践 文档

ntel 320 Amazon EC2:海外服务器 4. ESB: 目标与背景目标 解决解耦,独立部署 基于服务的系统整合:SOA 服务过载控制 解决的常见问题 服务器位置变更后通知客户端 同类服务多机提供负载均衡

shootings 2012-03-09   753   0
软件架构   方案   HTTP   Intel   Go  

Hadoop各个类的作用 经验

DelegationTokenRenewer.java----继承实现类:这是一个守护进程,实现等待下一个文件系统的接续; DelegationTokenSecretManager.java----继承实现

jopen 2014-02-18   63842   0
1 2 3 4 5 6 7 8 9 10