CDN详细介绍


2009-11-25 1 Content Delivery Networks (内容分发网络) 王洪波 北京邮电大学 网络与交换技术国家重点实验室 2009-11-25 2 互联网基本特点及不足 ™以IP为基础的互联网的特点是效率高,但是相对 于传统的电信网,其没有较好的服务质量(QoS, Quality of Service )保证。如: ƒ 较大的时延、 ƒ 时延抖动、 ƒ 丢包、乱序等 2009-11-25 3 传统内容分发方式 ™ 在传统的内容发布模式中,网络只表现为一个透明的数据传输通道 ISP POP ISP POP ISP InternetInternet ContentContent End UserEnd User 2009-11-25 4 传统内容分发缺点 ƒ 热点效应导致服务器和骨干网络过载和瘫痪 ƒ 远距离服务导致QoS无法保证 NetworkNetwork Users In AsiaUsers In Asia Users In EuropeUsers In Europe Users InUsers In Easter U.S.Easter U.S. Users InUsers In West U.S.West U.S. Contents InContents In West U.S.West U.S. 2009-11-25 5 当前视频传输的基本解决技术 ™解决方式:在基本架构不能改变的情况下,在工 程上比较现实的方法就是覆盖网技术: ƒ CDN ƒ P2P 2009-11-25 6 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 7 CDN概念 ™CDN的全称是Content Delivery( Distribution ) Network,即内容分发网络。 ™构建CDN的目的:是通过在现有的互联网中增加 一层新的网络架构,将网络内容发布到最接近用 户的网络“边缘”,使用户可以就近取得所需的内 容,解决互联网网络拥挤的状况,提高用户所能 获取服务或业务的服务质量。其实质是在互联网 上构建一个覆盖网络 ™CDN的能力:从技术上全面解决由于网络带宽小、 用户访问量大、网点分布不均而产生的用户使用 互联网业务服务质量差的根本原因。 2009-11-25 8 CDN提高服务质量的基本思路及措施 ™ 基本思路:就是尽可能避开互联网上有可能影响数据传输 速度和稳定性的瓶颈和环节,使内容传输的更快、更稳。 通过用户就近性和服务器负载的判断,CDN确保内容以 一种极为高效的方式为用户的请求提供服务。 ™ 基本措施:将内容推到网络的边缘,为用户提供就近性的 边缘服务,从而保证服务的质量和整个网络上的访问秩 序 ,这也是就是CDN的服务模式 ƒ 措施1:把业务的服务点尽可能的延伸网络边缘,也就 是最靠近用户的地方,避免远距离的IP转发,减少互联 网内部引入的服务质量衰减 ƒ 措施2:提供分布式的负载均衡,从而减少服务器端的 瓶颈 2009-11-25 9 CDN提高服务质量的基本思路及措施(续) 互联网 内容提供商 接入点 全局负载均衡 内容分发管理 本地负载均衡 内容服务引擎 内容推向边缘 负载均衡 2009-11-25 10 CDN内容分发与传统内容分发的区别 ™ 与目前现有的内容发布模式相比较,CDN强调了网络在内容发布中 的重要性。通过引入主动的内容管理层的和全局负载均衡,CDN从 根本上区别于传统的内容发布模式。 ™ 在传统的内容发布模式中,内容的发布由ICP的应用服务器完成,而 网络只表现为一个透明的数据传输通道,这种透明性表现在网络的质 量保证仅仅停留在数据包的层面,而不能根据内容对象的不同区分服 务质量。 ™ 此外,由于IP网的“尽力而为”的特性使得其质量保证是依靠在用户 和应用服务器之间端到端地提供充分的、远大于实际所需的带宽通量 来实现的。 ™ 在这样的内容发布模式下,不仅大量宝贵的骨干带宽被占用,同时 ICP的应用服务器的负载也变得非常重,而且不可预计。当发生一些 热点事件和出现浪涌流量时,会产生局部热点效应,从而使应用服务 器过载退出服务。 2009-11-25 11 CDN所能提供的服务(应用) ™ 用户终端:PC、PDA,手机等 ™ 服务类型 ƒ 网页加速 ƒ 文件传输加速 ƒ 流媒体加速 2009-11-25 12 CDN的历史及趋势 ™ CDN最早来源 于代理服务 器,服务器集 群等技术 ™ 第一代CDN主 要用于静态、 动态网页的加 速 ™ 目前正在向第 二代CDN转 变,即以提供 视频流媒体业 务为主 ™ 未来的CDN有 可能是基于社 团的CDN(处 于研究中) 2009-11-25 13 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 14 CDN基本体系结构 PC IPTV IP Access Network PC IPTV IP Access Network PC IPTV IP Access Network IP Backbone Network 核心流媒 体系统 流媒体管理 系统 流媒体系统层流媒体系统层 CDNCDN网络层网络层 客户端层客户端层 2009-11-25 15 CDN基本组成元素(1/2) ™ 源服务器(Origin Server):网页、文 件、流媒体等内容源 服务器 ™ 复制服务器(replica servers)或者称边 缘服务器、代理缓存: 存有源服务器中的全 部或部分内容,它们 直接向服务于用户 ™ 内容交付(content- delivery)组件:由 源服务器及位于网络 边缘的边缘服务器组 成,提供向用户的内 容传送 2009-11-25 16 CDN基本组成元素(2/2) ™ 请求重路由 (request-routing ) 或重定向组件:负责把 用户向的请求转向最合 适的边缘服务器。最合 适是指:距离用户最近、 满足负载均衡等参数。 ™ 内容分布组件 (distribution component):负责 把位于源服务器的内容 分布到边缘服务器,并 维护内容的一致性 ™ 记账组件 (accounting component):维护 用户访问及CDN使用 情况,便于后续的计费 2009-11-25 17 现有商业CDN ™国外: ƒ Akamai:占美国85%市场 ƒ Limelight Networks:主要提供音视频类业务 ƒ AT&T:网络运营商自建CDN的代表 ƒ … ™国内: ƒ ChinaCache:独立的CDN运营商,主要为门 户等大型网站服务,主要提供网页加速及flash 类视频点播加速 ƒ 中国联通CDN ƒ 中国电信CDN 2009-11-25 18 CDN服务价值链 ™ 纵观整个宽带业务(服务)的价值链,内容提供商和用户 位于整个价值链的两端,中间依靠网络服务提供商将其串 接起来 ™ 随着互联网工业的成熟和商业模式的变革,在这条价值链 上的角色越来越多也越来越细分。比如内容/应用的运营 商、托管服务提供商、骨干网络服务提供商、接入服务提 供商等等。 ™ 随着我国电信运营商的重组,未来的多(全)业务运营商 不再只是网络管道或接入运营商或者单一业务(电话业务) 运营商,必然想着多业务方向发展,也必然在价值链上占 有多重角色,在就有核心竞争力的地方寻找盈利增长点 ™ 未来的互联网主流宽带业务必然是视频多媒体应用 2009-11-25 19 价值链上各角色的主要需求 业务需求 任务 内容提供商 提供编辑、加工的内容; 保证内容的版权; 内容收费 内容制作、加工工具 DRM系统 内容运营商 流媒体门户管理 媒体资产库管理 业务包装运营 防盗联 内容访问状况统计、监控 认证、收费(代) 流媒体内容服务系统 基于应用的认证 流媒体后台系统完成后台管 理功能 内容网络运营商 统一的业务和应用管理 统一的服务承载平台 认证、计费 用户管理等 业务支撑系统 CDN系统 对SP的服务系统 用户 观看内容 方便付费 ™ 现有网络运营商既可以发挥网络优势,作为骨干网络、接入网络运营 商,还可以成为内容网络运营商、内容运营商,从而带动新的应用及业 务 2009-11-25 20 CDN的特点 ™ 本地Cache加速:提高了企业站点(尤其含有大量图片和静态页面 站点)的访问速度,并大大提高以上性质站点的稳定性 ™ 镜像服务:消除了不同运营商之间互联的瓶颈造成的影响,实现了跨 运营商的网络加速,保证不同网络中的用户都能得到良好的访问质量 ™ ™ 远程加速:远程访问用户根据DNS负载均衡技术 智能自动选择 Cache服务器,选择最快的Cache服务器,加快远程访问的速度 ™ 带宽优化:自动生成服务器的远程Mirror(镜像)cache服务器, 远程用户访问时从cache服务器上读取数据,减少远程访问的带宽、 分担网络流量、减轻原站点WEB服务器负载等功能 ™ 集群抗攻击:广泛分布的CDN节点加上节点之间的智能冗于机制, 可以有效地预防黑客入侵以及降低各种DDoS(Distribution Denial of service ,分布式拒绝服务攻击)对网站的影响,同时 保证较好的服务质量 2009-11-25 21 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 22 CDN中的关键技术 ™ 内容发布:它借助于建立索引、缓存、流分裂、组播等技术,将内容 发布到距离用户最近的边缘服务器 ™ 请求路由:它是整体性的网络负载均衡技术,通过内容路由器中的重 定向机制,在多个边缘服务器间均衡用户的请求,以使用户请求得到 最近内容源的响应 ™ 负载均衡:它根据内容的可用性、服务器的可用性以及用户情况,在 边缘服务器上,利用应用层交换、流分裂、重定向等技术,智能地平 衡负载流量 ™ 性能管理:它通过内部和外部监控系统,获取网络部件的状况信息, 测量内容发布的端到端性能(如包丢失、延时、平均带宽、启动时间、 帧速率等),保证网络处于最佳的运行状态 2009-11-25 23 CDN中的关键技术-内容发布 ™ 根据内容发布的方式可以分为三类发布技术 ƒ 协作式推送技术(cooperative push-based):即当源服务器有新 内容时,它把内容推送到合适的边缘服务器,边缘服务器间互相 协而共享各自的内容,避免一个内容被发布到所有边缘服务器, 从而减少了复制及更新成本。在此种方式中,CDN维护一个内容 与边缘服务器的映射表,当用户请求时,可以查询此表,把请求 转到距离用户最近的具有请求该内容的边缘服务器上。 ƒ 非协作式拉取技术(non-cooperative pull-based):用户请求总 是被重定向到距离最近的边缘服务器,如果边缘服务器没有所请 求的内容,则边缘服务器向源服务器请求该内容。该技术简单, 易实现,缺点是负责向用户提供服务的边缘服务器不总是最优的。 大部分主流的CDN提供商采用此方式如Akamai ƒ 协作式拉取技术(cooperative pull-based):它与非协作式拉取 技术主要不同在于,当一个边缘服务器没有用户请求内容时,它 可以从其它边缘服务器请求本地所没有的内容。此种方式的优点 是减少源服务器处带宽成本。目前此技术仍处于研究实验阶段 2009-11-25 24 CDN中的关键技术-请求路由 ™基于DNS的内容请求路由机制 Root Origin Site DNSDNS DNS Servers 11 22 44 6688 DNSDNS Authoritative DNS CDN POPs 33 NS 55 NS Surrogate Local DNS A77 1010 1111 99 1212 2009-11-25 25 实例:Akamai对网页加速的处理 2009-11-25 26 评价CDN系统的性能指标(1/2) ™缓存命中率(Cache hit ratio):在一定时间 内,假设用户总请求次数为N,其中,用户请求 内容不在边缘服务器上而需要向源服务器获取内 容的请求次数为M,则H=(N-M)/N即为缓存命中 率。命中率越高意味CDN系统效率越高。用户得 到的平均响应越快 ™保留带宽RB( Reserved bandwidth ):在一 定时间内,源服务器端所使用的网络带宽。RB越 小,说明CDN发挥作用越大,为源服务器节省带 宽成本约多 2009-11-25 27 评价CDN系统的性能指标(2/2) ™响应时延(Latency):指用户发出请求至得到 请求响应间的时间。平均响应时延越小说明CDN 性能越好,源服务器消耗带宽越小 ™边缘服务器利用率(Edge server utilization): 该指标测量的是边缘服务器的资源利用的程度, 常用CPU利用率、I/0值大小、接受用户请求的总 次数、以及存储空间比率来衡量 ™可靠性(Reliability):主要是通过分组的丢包 率来衡量CDN为终端用户所提供服务的可靠性。 2009-11-25 28 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 29 CDN所能提供的视频业务类型 ™视频直播:提供与电视节目相同的视频业务 ™视频点播:提供可以支持VCR (Video Cassette Recorder, )操作功能的用户点播 视频业务,VCR操作就是暂停、快进、快退、拖 动等操作的总称 ™时移电视:提供有限滞后时间的电视节目(类似 点播,但是可点播时间收时间限制,往往不支持 VCR操作 2009-11-25 30 视频多媒体特性对CDN构建的影响 ™带宽消耗:相对于传统的网页加速、文件下载加 速等业务,提供视频业务的CDN消耗的网络带宽 大 ™存储消耗:占用CDN边缘服务器以及内部缓存服 务器的存储空间大 ™实时性要求更高:需要更低的响应时延,为保持 流畅的视频效果,需要更低的时延抖动 2009-11-25 31 多媒体传送类型 ™流式传送:指流式数据经网络传送到目的地,若 目的地有视频播放器,则既可实时播放 ™文件下载式传送:常指未经流化的数据经网络传 输到目的地,若目的地视频播放器,只有视频文 件完整下载完后,视频播放器才能播放视频 2009-11-25 32 构建系统的性能目标 ™ 系统的选型、技术的取舍、系统规模规模等等都需要从两 个角度考虑 ™ 从系统本身考虑:CDN系统代价最小化,也就是低成本 ƒ 边缘服务器、缓冲设备等成本 ƒ CDN消耗带宽的成本 ™ 从系统对外提供服务的角度:为用户提供高质量的服务及 用户体验,也就是高产出 ƒ 用户响应时间 ƒ 视频流畅度 ƒ 视频数量及类型构成(不同清晰度视频的比例) ƒ 所能支持的并发用户量 ƒ 用户平均在线时间(直接决定了视频广告的效果) 2009-11-25 33 典型的CDN架构 ™两层层次结构 2009-11-25 34 典型的CDN架构(续1) ™ 在高层进行内容分布(content distribution) ™ 进行的是常规文件类传送(对点播而言)或流式传送(对直播而言) 2009-11-25 35 典型的CDN架构(续2) ™ 在低层进行内容传送(content delivery) ™ 进行流式传送 2009-11-25 36 CDN实例(波兰iTVP视频CDN系统) 波兰骨干光网络 波兰视频CDN系统 2009-11-25 37 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 38 构建CDN涉及的关键问题 ™ CDN节点布置 ƒ 区域中心布置在大城市城域网 ƒ 高层复制节点可下挂多个cache(至少2个以提供互备 份) ƒ 低层边缘服务器(proxy/caches)的数量由现有用户数 或潜在用户数决定(若是独立的CDN提供商,一个重 要的决定因素是连接多少个ISP) ™ 网络配置 ƒ 高层可用高速的骨干网(10-40G) ƒ 低层可用城域网(以太网)(1-10G) 2009-11-25 39 构建CDN涉及的关键问题 ™ 内容分配及分布(Content Allocation and Distribution):CDN性 能不仅与缓存、边缘服务器的数量有关系,更重要的是与视频内容的分布相 关 ƒ 视频文件是否分块? • 若分块,可提高网络交换和存储效率,但是提高复杂性 • 若不分块,实现简单 ƒ 内容发布方式 • 基于推送( push ):可减小用户访问时延,提高Cache命中率 • 基于拉取( Pull ):实现简单,存储节省 ƒ Cache管理策略:由于视频内容占存储空间大,而存储总是有限的,必须 有较好的Cache管理策略,当前常用的是LRU(Least recently used ) ™ 内容传输方式(Content Transmission) ƒ 对于直播应用,全程使用流式传输方式 ƒ 对于点播等应用,只在边缘服务器与用户间使用流式传输方式 2009-11-25 40 构建CDN涉及的关键问题 ™用户请求路由当前大都采用基于DNS的重定向技 术 ™边缘服务器选择,需考虑以下因素: ƒ 用户的地理位置 ƒ 用户请求内容的可提供性 ƒ 可提供服务节点的负载情况 2009-11-25 41 Contents 用于视频传输的CDN2 CDN基本概念1.1 CDN技术基础1 CDN体系结构及组成要素1.2 CDN关键技术及评价指标1.3 视频应用CDN体系架构2.1 构建视频应用CDN关键问题2.2 系统性能测量及评价2.3 2009-11-25 42 CDN性能测量及评价 ™CDN 负载 ƒ 用户数、并发用户数 ƒ 会话数、并发会话数 ƒ 平均播放时间 ƒ 传送到用户的总数据量 2009-11-25 43 CDN性能测量及评价-内容分布性能(1/2) ™与成本相关的资源使用指标 ƒ 源服务器保留带宽RB与总需求带宽比率 • 总需求带宽就是不使用CDN时,源服务器所需要消 耗的带宽 • 总需求带宽可通过测量高层内容分发所消耗的带宽 来获得 2009-11-25 44 CDN性能测量及评价-内容分布性能(2/2) ™与用户体验相关的QoS ƒ 主观指标(通过向用户随机调查获得) • 视频流畅满意度 • 视频丰富度 ƒ 客观指标(通过内部测量模块获得) • 内容命中率 • 用户响应时延 2009-11-25 45 ™下节课:P2P基础及基于P2P的视频系统
还剩44页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 7 金币 [ 分享pdf获得金币 ] 1 人已下载

下载pdf

pdf贡献者

mrxwh

贡献于2015-10-04

下载需要 7 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf