百度私有云建设和开发部分云端服务(肖伟)


百度云计算介绍 百度云计算架构师 肖伟 xiaowei@baidu.com 百度内部系统架构 搜索 广告 社区 业务 数据智能 云平台 海量数据存储与处理 软件基础架构 数据中心 、 网络 、 服务器 硬件基础架构 云 计 算 百度内部云特点 快速迭代 超大规模 快速迭代特征 离线 在线 离线分析与在线实验相结合 通过反馈来验证算法优劣 算法A 算法B 算法B 互联网对快速迭代的需求 ü 产品开发全过程 ü 方法论 +流程 +平台 原型 系统 快速开发 测试 产品 部署 运维 数据收集 A/B测试 开发 框架 数据智能 验证 数据分析 应用 引擎 应用 引擎 超大规模特征 •  海量数据存储 百P •  大规模数据计算 大规模计算 描述能力 数据流优化 控制流管理 资源分配 优先级 、 并发控制 隔离 、 安全 执行层 模型层 Map Reduce 表示层 SQL-like 翻译 Join Select Top B C D A 计算类型 •  通用批量数据处理 Map Reduce •  大规模机器学习 HPC •  计算密集型上下文无关数据处理 Volunteer Computing 资源调度系统 Agent Executor Task Executor Task Agent Executor Task Executor Task 业务总控 资源调度 分布式存储 百度存储体系 ü 统⼀存储体系 –  平衡大容量 、 高并发 、 低延迟 –  不同访问模式通过组合满足 ü 统⼀访问与传输 Disk Flash Pipe K/V File Table 数据访问层 P2P CDN 典型实时存储系统:Mola Update Center Update Center (backup) Update Center Update Center (backup) chunck chunck chunck chunck chunck chunck update Meta server Meta Server (backup) Qcontroler 查询 典型的离线存储系统:Bailing Write Stream Base Stream Index Logs Index Stream + Merge-Sort Mod Stream Mod Logs + Merge-Sort Merge Patch Stream Patch Logs + Merge-Sort 1 2.1 2.2 3 3.1 3.2 4 5 6 百度开放云预览 互联网服务架构 数据智能 平台层 数据存储与处理 基础层 IDC与网络 网盘 应用开放平台 智能交通 应用层 相册 云存储 开放云平台 应用托管 事件通知 数据分析 服务 私有云到开放云 • 私有云到公有云的转化机制 • 让云接口更易用 • 使更贴近云应用开发 云化机制 • 统一的权限管理 • 虚拟化独立隔离环境 云安全保障 开放云逐步开放 •  hp://yun.baidu.com/ 开放云的公益性质 • 已经开放云存储 • 预计Q2能基本功能全开放 开放程度 • 对于百万PV的网站,免费额度基本够用 • 资源不够,协商后可以免费继续提高,无规定上限 • 目前提供1T的分布式存储(多副本、多机房、CDN支持) 诚意 • 面向有经验的中小开发团队 开放资质 • 查看:hp://dev.baidu.com/wiki/yun • 发邮件到 yun@baidu.com 详细介绍自己 开放流程 云环境 分布式存储 资源池( 大规模计算结点) 调度器 镜像服务 消息 服务 分布式计算 数据 分析 IO 本地存储 CPU & Memory 云接入与管理 Network & 调度 网络 & 动态负载均衡 业务开发流程 消息服务 分布式队列 Comet系统 Mail 短信 Hp 可以嵌入逻 辑 主动推送 长连接维持 关系计算服务 SQLD DB Instance Replica on Replica on Table Table Table 分布式MySQL Table 表示层 执行层 分布式计算系统 单机自动化运维 分布式数据库 分布式关系计算 云存储个人为中心数据存储系统 数据存储系统 用户权限管理 Tag服务 数据提交系统 检索系统 数据智能 缩略图系统 视频预览系统 文件预览系统 指纹识别 Meta管理 云存储 相册 视频 音乐 文档 其他数据 云存储 空间 贴吧 手机掌百 Hi Ting 第三方开发者 开放API 第三方私有的 分布式存储 百度获发改委 项最高激励 国家 • 百度持续投入得到领域专家和政府 部门高度认可和持续鼓励 • 百度云计算获三部委最高激励 百度 • 将大力发展智能数据服务、典型行 业应用和公共云计算平台 联系方式 •  开发者运营平台: yun@baidu.com •  招聘渠道: yun@baidu.com Title [应聘]
还剩23页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 8 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

毛有办法

贡献于2012-12-06

下载需要 8 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf