系统规划方案(修订)

 xx系统规划方案 2016年1月5日 目录 第1章 概述 4 1.1 背景 4 仅供项目内部使用 1.2 名词及术语说明 4 1.2.1 用户数 4 1.2.2 业务总量 4 1.2.3 业务发生频度 4 1.2.4 事务吞吐量 5 1.2.5 在线用户数 5 1.2.6 并发用户数 5 1.2.7 并发请求数 5 1.2.8 SPECweb99标准 6 1.2.9 SPECJBB2005标准 6 1.2.10 TPC-C标准 6 1.3 估算方法 6 1.3.1 方法概述 6 1.3.2 计算机设备性能估算标准及方法 7 1.3.3 Web服务器估算标准及计算公式 7 1.3.4 应用服务器估算标准及计算公式 7 1.3.5 数据库服务器估算标准及计算公式 8 1.3.6 网络带宽估算方法 8 1.3.7 存储容量估算方法 8 1.4 技术指标折换设备说明 9 第2章 目前系统部署情况 9 第3章 远期规划 10 3.1 规划原则 10 3.1.1 高可用性 10 3.1.2 高性能 10 3.1.3 可扩展性 10 3.1.4 可伸缩性 10 3.1.5 安全性 10 3.1.6 可运维性 11 3.2 前提条件 11 3.2.1 用户数 11 3.2.2 业务量估算 11 3.3 资源需求估算 12 3.3.1 业务带宽估算 12 3.3.2 并发用户数估算 13 仅供项目内部使用 3.3.3 并发连接数估算 14 3.3.4 Web服务器性能估算 14 3.3.5 应用服务器性能估算 14 3.3.6 数据库性能估算 15 3.3.7 存储容量估算 16 3.4 系统部署规划 17 第4章 资产需求清单 17 第1章 概述 1.1 背景 针对目前系统部署结构、系统的压力及系统的长远规划，提出该方案。 1.2 名词及术语说明 用户数，业务总量，业务发生频度，事务吞吐量，并发用户数，并发请求数，注册用户数，串行化度，SPECweb99标准，JBB2005标准，TPC-C标准。 1.2.1 用户数 是指使用系统的使用人数。 1.2.2 业务总量 业务可以定义为：用户与系统完成一次交互，可以当作一个业务，如：……。一笔业务通常用事务或者交易(transaction)来描述。业务总量即事务的总量，一般以一段时间的完成的事务数来衡量。如：一年的交易总量，一个月，一日，一个小时。 仅供项目内部使用 1.2.3 业务发生频度 从业务上描述用户对系统某项业务功能的使用情况，比如：可估计大多数用户在一天登录次数。根据业务发生频度再结合系统用户量，可以对系统总体的所需处理的业务量及其压力情况进行有依据的估算。 1.2.4 事务吞吐量 是指在一段时间内，系统能完成的交易数，比较常用的是每秒事务吞吐量（TPS）和每分钟事务吞吐量（TPM）。 TPS即Transaction per second，每秒完成的事务数。 TPM即Transaction per minute，每分钟完成的事务数。 业务吞吐量分平均吞吐量和高峰时的吞吐量。计算方法如下： 高峰TPM=用户数量×使用次数×高峰百分比÷（高峰天数×每天高峰小时数× 60） 平均TPM =用户数量×使用次数÷（天数×每天高峰小时数× 60） 如果能通过历史数据统计出小时的高峰数，则使用统计分析数据。 1.2.5 在线用户数 在线用户数是指在一个时间点上同时进入系统的用户数。这个是衡量系统的容量的重要指标。 在线用户= TPS ×完成一个事务的所有时间 完成一个事务的所有时间包括用户输入数据时间和系统处理时间。 1.2.6 并发用户数 在同一时刻与服务器进行交互的在线用户数量。该指标关注点在于系统同时所能承受由用户所发起的请求数量，因此有时也用做并发请求数。 仅供项目内部使用 1.2.7 并发请求数 并发请求数是指同时到达服务器或者服务器同时在并发处理的请求数。 并发请求数=在线用户数/ρ ρ并发请求的计算系数，根据以前业务系统的性能测试的结果与实际的监测情况的比较，我们总结出，ρ取值10的情况下，计算出来的并发请求数比较接近实际。 1.2.8 SPECweb99标准 SPECweb99是由标准性能评估组织（SPEC）开发的Web服务器基准测试，用于评测Web服务器能够支持的最大同时连接数的客户端/服务器基准测试，也就是评测Web服务器所能够支持的最大每秒请求数。基准负载是由运行HTTP Server的服务器联网的客户端设备上的客户端软件来实现的。为Web用户提供用于评测系统用作Web服务器能力的最客观、最具代表性的基准。 1.2.9 SPECJBB2005标准 SPECJBB2005（Java服务器基准）是一种用于评估服务器端Java性能的SPEC基准。SPECjbb2005可以通过模拟一套三层式的客户端/服务器系统来评估服务器端Java性能，而在模拟过程中最为强调的就是中间层。 1.2.10 TPC-C标准 TPC-C是在线事务处理（OLTP）的基准测试程序，对系统在线事务处理能力进行评价，含义为每分钟内系统处理事务的个数。TPC-C是一种旨在衡量联机事务处理（OLTP）系统性能与可伸缩性的行业标准基准测试项目。 仅供项目内部使用 1.3 估算方法 1.3.1 方法概述 1） 以实际应用系统中统计的基础数据为估算的依据； 2） 根据估算的结果再与所需采用的标准进行比对，从而估算出所需要的计算机设备的性能与数量。 1.3.2 计算机设备性能估算标准及方法 根据服务器的用途不同，按不同的标准进行服务器性能估算，主要有三类服务器：Web服务器、应用服务器、数据库服务器。 1.3.3 Web服务器估算标准及计算公式 因Web服务器主要处理静态页面访问，及图片、样式缓存，因此非常适合采用SPECweb99标准进行服务器性能的估算。 根据SPECweb99测算依据，按照以下指标作为估算Web服务器所能够支持的最大每秒请求数的计算公式： Web服务器最大每秒请求数=每秒峰值访问次数×单次访问页面请求数 /性能冗余系数。 说明：单次访问页面请求数：根据业务类型，页面内容的不同，每一类页面的页面请求数都不同，在实际的计算中，以系统实际应用中每一类页面的平均请求数做为计算依据。 1.3.4 应用服务器估算标准及计算公式 采用java应用权威标准JBB2005标准对应用服务器性能进行估算。 根据JBB2005测算依据，按照以下指标作为估算应用服务器所能够处理的最大BOPS值的计算公式： 仅供项目内部使用 BOPS=每秒峰值访问次数×单次访问的事务处理数×单次访问的Servlet请求数/（1-无妥协计算系数）×单次请求最大Java对象数/性能冗余系数×峰值系数。 说明：单次访问的事务处理数：根据业务类型，页面内容的不同，每一类业务的事务处理数都不同，在实际的计算中，以系统实际应用中每一类业务的平均事务处理数做为计算依据。 Servlet计算依据：一个业务请求通常对应2次Servlet请求，复杂业务对应3次Servlet请求，最多为4次Servlet请求。 无妥协计算原则：保证在服务器池故障率达到50％时，仍然能够满足并发用户的需求，该系数为0.3。 单次业务请求需处理的最大Java对象数：业务复杂度不同，所需要处理Java对象数不同。在实际的计算中，以系统实际应用中每一类业务的平均Java对象数做为计算依据。 峰值系数：峰值期间交易极限峰值系数，对于交易密集型业务，交易量会在某点产生极限峰值,为保障关键业务处理性能，需要考虑峰值系数。该系数参考值为1~5。 1.3.5 数据库服务器估算标准及计算公式 数据库服务器性能估算采用通用的TPC-C标准。 根据TPC-C测算依据，按照以下指标作为估算数据库服务器所能够处理的的TPMC值的计算公式： TPMC=每秒峰值业务次数×60×9×8×4 说明：经测试，每笔业务涉及到n笔左右的数据库事务，基准TPC-C指标值对应的比例8，计算值与公布值（最优值）的偏差经验值为4。 1.3.6 网络带宽估算方法 对于网络带宽的估算，我们将根据业务实际发生的情况进行定量分析，通过将实际业务的数据采样作为依据，计算系统访问过程中所产生的上下行的网络带宽。 仅供项目内部使用 1.3.7 存储容量估算方法 1、数据库存储容量估算： 数据库存储的容量估算按照以下步骤进行 1） 确定应用系统的数据增量大小； 2） 根据数据存储周期确定总的数据量大小； 3） 确定数据库存储空间要求，交易系统按照数据量2 倍估算，分析类和数据仓库按照5 倍估算； 4） 确定索引需要的存储空间，交易类系统索引按照数据库存储的30% 估算； 5） 确定冗余空间，按照整个数据库的30％估算； 确定应用系统总的数据存储空间要求； 1.4 技术指标折换设备说明 1、WEB服务器 按照pc服务器进行配置。配置为2CPU,8核/每CPU的服务器按照支持4万并发HTTP请求进行折算。 2、应用服务器 按照pc服务器进行配置。配置为4CPU,8核/每CPU的服务器按照支持25万BOPS值进行折算。 3、数据库服务器 按照小型机进行配置。以IBM P780小型机为例，每核CPU按照支持10万TPMC值进行折算。换算成pc服务器，小机每核处理性能相当于pc服务器一个8核的cpu。 备注：本文中将指标折算为相关设备，只为能够有一个直观的表示方法，不代表最终设备选型，其它型号或配置的设备可根据相关指标进行等价折算。 仅供项目内部使用 第2章 目前系统部署情况 第3章 远期规划 3.1 规划原则 3.1.1 高可用性 规划从各个层面包括：链路、网络设备、服务器设备及应用和数据库首先要消除单点故障，其次优化各个层面的配置，以保障系统的高可用性。 3.1.2 高性能 解决性能问题是一个系统工程，涉及到网络、主机、应用、数据库和存储等多个层面，而且性能问题遵循短板理论，即系统的整体性能是有最薄弱的环节决定的，所以，我们需要从多方面着手来解决，包括网络、应用、数据库、服务器和存储等方面。 3.1.3 可扩展性 系统架构要具备较强的可扩展性，未来业务量增长时，系统能够支持水平扩展。业务功能增加或者业务发生变革时，系统框架不需要发生变化，只需要添加相应的业务构件即可。 3.1.4 可伸缩性 可伸缩性是强调能够通过横向或纵向进行硬件扩充的方式来提升系统的总体性能，以应对日后不断增长的用户群和业务量可能超出现有系统性能容量的问题。 仅供项目内部使用 3.1.5 安全性 遵循国家有关信息安全标准，具有切实可行的安全保护和保密措施，以及对计算机犯罪和病毒的防范能力，确保数据永久安全。系统应提供多方式、多层次、多渠道的安全保密措施，防止各种形式与途径的非法侵入和机密信息的泄漏，保证系统中数据的安全。 3.1.6 可运维性 可维护性是指软件能够被简单方便地修改和升级。易于修改要求应用系统易读、易改、易测试，并且修改的影响局部化。易于升级要求数据库、应用服务器、开发工具能方便地进行版本升级，具有向下兼容性；易于升级也要求客户端的升级工作量较小。 3.2 前提条件 3.2.1 用户数 以下统计的数据是以用户数xx万为基础。 3.2.2 业务量估算 每秒峰值业务量 业务类型 业务明细 每秒峰值(次/秒) 仅供项目内部使用 日峰值业务量 业务类型 业务明细 日峰值业务量 日峰值业务量总计 注：1）每秒峰值业务次数，以日峰值业务量在上午9点到12点，下午14点到17点，共6个小时内处理完来计算； 因此：每秒峰值业务次数=日峰值业务次数/(6*60*60) ； 2）日均值业务次数，以日均值业务在上午9点到12点，下午14点到17点，共6个小时内处理完来计算； 因此：日均值业务次数=日均值业务次数/(6*60*60) ； 3.3 资源需求估算 3.3.1 业务带宽估算 　 每秒峰值(次/秒) 每秒上传（KB） 每秒下载（KB） 单次 合计 单次数据 合计 业务类型 业务明细 1 2 3=1*2 4 5=1*4 仅供项目内部使用 总计字节（KBytes/Sec） 　 　 总计位（Kbits/Sec） 　 　 总计位（Mbits/Sec） 　 　 估算值仅按照纯信息量计算，实际使用时还会增加15%的网络控制信息，另外再按40%网络带宽进行冗余预留，则： 3.3.2 并发用户数估算 TPS即Transaction per second，每秒完成的事务数。 TPM即Transaction per minute，第分钟完成的事务数。 业务吞吐量分平均吞吐量和高峰时的吞吐量。计算方法如下： 高峰TPM=用户数量×使用次数×高峰百分比÷（高峰天数×每天高峰小时数× 60）， 这里给出用户的访问习惯如下：百分之多少的业务集中在一天的某个时段。使用次数指定为x次。 得出用户数是xx万户时的并发用户数如下： 用户数 事务吞吐量 完成一个事务的所有时间 最大在线用户 并发用户 冗余系数 最终并发用户数 仅供项目内部使用 (tps) (用户输入数据时间和系统处理时间) 3.3.3 并发连接数估算 按照每个在线用户数建立x个连接计算，再考虑%的冗余， 则用户数xx万时并发连接数=最大在线用户数×10/0.6= 3.3.4 Web服务器性能估算 【分析】 l 请求数：每个业务的请求数 l 每秒请求数=峰值访问次数（每秒）*页面请求数； 业务类型 峰值业务次数（每秒） 请求数 每秒请求数 预留40%的余量（每秒请求数） 合计 以上估算值每秒请求数为xxxx。配置为2CPU,8核/每CPU的服务器按照支持4万并发HTTP请求进行折算，则需要n个服务器。 3.3.5 应用服务器性能估算 【分析】 l 单次访问的事务处理数： 仅供项目内部使用 l Servlet请求数： l 请求最大Java对象数： 一次业务总共需要请求的java对象： l 峰值系数：系统业务并发用户量大，业务密集，并且业务复杂度高，此处峰值系数取值为：2。 结合上面的统计数据及上面所列的计算规则，从而计算结果如下： 业务类型 峰值业务次数（每秒） 单次访问的事务处理数 单次Servlet请求数 请求最大Java对象数 BOPS值 合计 【估算】 上表中估算出来的BOPS值为xxxx，在测算值的基础之上，需要预留至少40%的余量，最后计算出来的BOPS值为：xxxx。配置为4CPU,8核/每CPU的服务器按照支持25万BOPS值进行折算，则需要n台服务器。 3.3.6 数据库性能估算 对于系统业务的估算，将基于以下基础数据： l 峰值业务次数（每秒）=日峰值业务次数/(6*60*60) l 高峰期每天的业务集中在上午9点-12点之间和下午2点-5点之间6个小时之内完成。 l 峰值事务笔数（每分钟）=峰值业务次数（每秒）*60*9 l 经测试，每笔业务涉及到9笔左右的数据库事务。 l 峰值TPMC值=峰值事务笔数（每分钟）*8*4 l 基准TPC指标值对应的比例=8，计算值与公布值（最优值）的偏差经验值为4。 仅供项目内部使用 l 预留40%的余量：在业务测算值的基础之上，需要预留至少40%的余量，则对应TPMC值需要/0.6。 根据上述日峰值业务数据量和估算基础数据，推算出TPMC值参见下表： 峰值业务次数 峰值事务笔数 日峰值折合 预留40%的余量 （每秒） （每分钟） TPMC值 TPMC值 【估算】 上表中估算出来的TPMC值xxxxxxx。以IBM P780小型机为例，每核CPU按照支持10万TPMC值进行折算，则需要32核。换算成pc服务器，小机每核处理性能相当于pc服务器一个8核的cpu；32个小机cpu核，则需要32个pc服务器cpu，每cpu 8核。 3.3.7 存储容量估算 根据系统实际每种业务数据采集。 业务类型 业务明细 报文大小（k） 仅供项目内部使用 数据库储存用户一年的数据供查询，每天提交的报文数据量在xxxK左右。再加上写入数据库会加上一些附加信息，同时交易系统的数据库存储计算规则，加上数据库索引等。估计每人每月数据量为nk左右。 按xx万用户计算，预留至少40%的余量： 一年的数据量约=nk*xx万*12/1024/1024/0.6=xxxxxG 3.4 系统部署规划 第4章 资产需求清单 服务器设备清单 设备类型 设备 名称 性能指标要求 cpu核数 规划分配 现分配资源 需新增设备资源 预算 服务器 数据库 仅供项目内部使用 应用服务器 Web服务器 仅供项目内部使用