存储云的架构与实现


存储云的架构与实现 陈建勋( Kelvin ) 大中华区开源推广中心 太阳计算机系统(中国)有限公司 2 内容提要: • 存储云应用场景 • 以 web 方式提供存储服务实例 • 构建存储云需要考虑的问题 • 以 web 方式提供存储服务存储云架构设计 • 高 I/O 性能存储云架构设计 • Q&A 3 云计算架构 Partner and Build User Apps and Services Internet Accessible APIs and UIs Servers Storage Network Virtualized Datacenter Management Layer Customer Web Site Storage Service Queuing Service JavaEE Service etc. Application Catalog, Forums, DocsVirtual Datacenter Management Console Accounting, Billing and Metering Identity Service Databas e Service Compute Service Computing Cloud Storage Cloud Virtualization management API Implementation SAAS Storage CloudStorage CloudStorage Cloud 4 存储云应用场景 5 存储云应用的场景 • 以 web 方式提供存储服务 > 亚马逊 S3(Simple Storage Service) • 构建高 I/O 性能、大规模水平扩展的存储平 台 > 为数据库提供存储空间 > 位文件服务器提供存储空间 > 为其他系统提供存储空间 6 以 web 方式提供存储服务实例 7 亚马逊 S3 的功能 • Write, read, and delete objects containing from 1 byte to 5 gigabytes of data each. The number of objects you can store is unlimited. • Each object is stored and retrieved via a unique, developer- assigned key. • Authentication mechanisms are provided to ensure that data is kept secure from unauthorized access. Objects can be made private or public, and rights can be granted to specific users. • Uses standards-based REST and SOAP interfaces designed to work with any Internet-development toolkit. • Built to be flexible so that protocol or functional layers can easily be added. Default download protocol is HTTP. A BitTorrent(TM) protocol interface is provided to lower costs for high-scale distribution. Additional interfaces will be added in the future. 8 亚马逊 S3 的实际应用(一) • The team at 37signals saves significant time and money by selecting Amazon S3 to maintain and backup their 1 terabyte file server. • To support their growing business, Altexa chooses Amazon S3 to replace an increasingly expensive and unreliable in-house storage system. • ElephantDrive turns to Amazon S3 to store client data, expanding their total amount of storage by nearly 20 percent each week while avoiding increased capital expenses. • Ipswitch enhances their messaging solution for small to mid- sized businesses by partnering with Sonian to provide a hosted archiving solution built on AWS and delivered seamlessly to end users. • Jungle Disk develops and launches a simple, pay-as-you-go online data backup service in less than 30 days using Amazon S3. 9 亚马逊 S3 的实际应用 ( 二 ) • MediaSilo integrates Amazon S3 to offer readily expandable storage to its subscribers at a much lower price. • Moonwalk for Amazon S3 automates and intelligently manages the migration of unstructured data from Windows, Netware, OES2, Red Hat, Suse and NetApp File Servers to Amazon S3. • Sonian discovers that Amazon Web Services delivers the services, price points, and sustained-business viability required to build a robust enterprise archive infrastructure. • Zmanda delivers an enterprise-grade backup service featuring an easy-to-use sign up and payment process using Amazon S3 and Amazon DevPay. 10 构建存储云需要考虑的问题 11 构建存储云需要考虑的问题 • 以 Web 方式提供存储服务的云存储 > 底层存储组织 > 既有存储设备的利用和整合 > 对外提供服务的协议 > 相关中间件的选择 > 安全传输与认证机制 > 负载均衡方案 > 计费、用户等相关管理系统 • 高 I/O 性能、大规模水平扩展的云存储 > 底层存储组织 > 既有存储设备的利用和整合 > 用户、自助部署等相关管理系统 12 以 web 方式提供存储服务存储云 架构设计 13 以 Web 方式提供存储服务存储云的参考 逻辑架构 系统认证 Hadoop HDFS 存储组织 服务协议 API ZFS Ext3UFSZFSZFS WebDav WebDav API 管理 API Restful API 管理系统 用户 管理 计费 系统 管理 •••• 自行开发认证程序 负载均衡 F5 http 可用的负载均衡方案 认证管理软件资源 部署 14 以 Web 方式提供存储服务存储云的参 考硬件架构 HDFS + Map Reduce SS1 SS2 SS3 App1 App2 App3Administration Access Management Internet IP SAN NASSAN 15 以 Web 方式提供存储服务存储云底层 组织 • 采用 Hadoop HDFS 作为基础存储组织文件系 统 > 完善的存储和备份策略 , 保证数据安全 > 优秀的大规模水平扩展能力 > 可以应用于低成本的各种硬件平台之上 , 节约成 本 > 可以利用 DataNode 上的基础文件系统的功能 , 如 ZFS 的 Snapshot > 特有的 Quota 以及权限机制 > 可以较好地实现现有存储环境的整合,如 SAN 、 NAS 等等 16 对既有存储系统的整合 • SAN > 通过 FC 与 DataNode 相连,将其作为 DataNode 的存储源。 • IP SAN > 通过专用 IP 网络将其与 DataNode 相连,将其作 为 DataNode 的存储源。 • NAS > 通过 NFS 、 Samba 等方式为 DataNode 提供存储 空间 17 存储服务的提供 • 采用 WEBDAV 协议,作为对外提供存储服务 的基本协议 > 被广泛运用于云存储服务的实现 > 灵活、高效、安全,并具有良好的扩展性 > 很多开源项目提供基于 WebDav 的产品和解决方 案 18 可选的应用服务器 • TomCat > 开源的应用服务器 > 被广泛使用、认可 • Glassfish > Sun 公司的开源中间件产品 > 企业级的应用服务器 > 完善的负载均衡及 Failover 方案 • Apache > 被广泛使用的开源 Web 服务器 19 认证机制的实现 • Sun Access Manager > 一款安全基础软件 > 简单统一的构架 > 开放、基于标准和策略的验证 • Apache 认证机制 • 编写应用程序实现认证过程 20 计费系统 • 计费方式 > 按用户使用的存储空间计费 > 按用户操作数据的规模计费 • 计费系统地实现 > 根据企业的经营策略进行开发 > 参照其他开源计费系统实现 21 以 Web 方式提供服务存储云的访问 22 高 I/O 性能云存储架构设计 23 高 I/O 性能云存储的参考逻辑架构 客户端 Sun QFS 存储组织 API Development API 管理 API 管理系统 用户 管理 系统 管理 •••• Lustre 客户端软件 Sun SAN Virtualization NASISCSISANSANSAN Lustre 资源 部署 Sun QFS 客户端软件 24 采用 Lustre 群集文件系统来组织底层 存储 • 具有非常优秀的水平扩展能力 • 具有异乎寻常的并行 I/O 性能 • 多年运用于大规模高性能计算 • 业界采用最广泛的群集文件系统 25 采用 QFS 文件系统来组织底层存储 • 高性能 64 位文件系统 • 支持元数据( inode )和数据块( data block )分离存储 • 卷管理:单个卷最大 252 个设备,单个设备最 大 16TB • 在线扩容 Meta Data Data Blocks Data Blocks qfs 26 采用 Sun SAN Virtualization 组织底层 存储 INTELLIGENT Control Unit Low Cost Commodity DiskHigh End Array Functionality Q&A 太阳计算机系统有限公司
还剩26页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 5 金币 [ 分享pdf获得金币 ] 1 人已下载

下载pdf

pdf贡献者

narry

贡献于2012-02-28

下载需要 5 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf