成功案例

北方电信简介

中国电信集团公司是按国家电信体制改革方案组建的特大型国有通信企业，于2002年5月重组挂牌成立。中国电信集团公司注册资本1580亿元人民币。目前主要经营国内、国际各类固定电信网络设施，包括本地无线环路；基于电信网络的语音、数据、图像及多媒体通信与信息服务；进行国际电信业务对外结算，开拓海外通讯市场；经营与通讯及信息业务相关的系统集成、技术开发、技术服务、信息咨询、广告、出版、设备生产销售和进出口、设计施工等业务。

根据国家电信改革总体方案，为适应新的竞争形势，保持中国电信的网络与业务在全国协调发展，原中国电信划分南、北两个部分后，北方公司（以下简称“北方电信”）于2002年7月正式成立。北方电信作为中国电信集团公司下属的非法人独立经营运作单位，经中国电信集团公司授权，对中国电信在北方9省（天津、河北、山西、内蒙古、辽宁、吉林、黑龙江、山东、河南）区域内的网络投资与建设、财务管理、市场经营、网络运行维护和人力资源管理等工作进行经营管理，并对经营业绩、服务质量、市场拓展、网络运行和相关财务指标负责，接受集团公司考核。

面临的IT挑战

电信业务运营支持系统（Business Support System--BSS），是电信运营商的一体化、信息资源共享的支持系统，它主要由计费、营业、帐务和综合客户服务等部分组成。这是一个规模庞大而且异常复杂的系统，包括网上营业系统、综合客服、综合营销、资源管理、生产调度、SLA管理等各个子系统，并且要与计费、结算、财务管理、人力资源管理等子系统协同运作。对于覆盖中国电信9个省区（以下简称北方电信）的北方电信事业部而言，这个系统就更显庞大。而由于电信市场灵活多变的特点，对系统的灵活性、响应速度、可扩展性等性能的要求也非常高。北方电信在2004年开始建设BSS系统以替代原有的电信97系统，就是为了大幅度提升IT系统的性能，以适应瞬息万变的市场需求。

BSS系统建设起来后最初确实对业务起到了强有力的支撑作用，北方电信的业务因此也蓬勃发展。但近年来，随着业务量的激增，BSS系统性压力越来越大，系统速度减慢，系统可靠性与高效性逐渐降低，进而影响到了对业务支持的质量与对外形象。同时系统维护人员的工作量也越来越大，但并不能换来满意的效果。

面对困境，信息化中心意识到亟需对BSS系统进行优化，大力改善和提升系统性能。为此，北方电信决定选择问题较为突出的辽宁局作为试点启动BSS系统优化项目，以实现优化系统性能、提升系统运行质量、挖掘系统潜力、创建系统建设良性循环模式的目的，同时提高电信自身维护人员的技术水平。

惠普的解决方案

基于惠普在支持服务领域的领先地位与创新精神，以及在电信行业的丰富经验，北方电信最终选择了由惠普公司来实施该优化项目。惠普公司基于对客户系统的应用系统、操作系统、数据库及其他相关软件的理解，利用相关性能调试工具对客户系统的主机硬件、操作系统、存储、数据库、中件间和应用程序SQL 语句等方面的运行状况进行全面的数据收集和分析，找出客户系统当前可能存在或潜在的性能问题，并以报告的方式提交客户，定位系统运行瓶颈，给出优化建议，制定具体的优化实施及操作方案，并对优化实施结果进行评估。

惠普根据客户需求，向北方电信推荐了惠普公司ORACLE优化服务解决方案，并针对北方电信的实际情况，量身度造了BSS整系统优化方案。该方案是惠普ORACLE服务解决方案之一，以ORACLE为中心，对客户系统进行整体优化(包含存储、操作系统、ORACLE数据库、应用、中间件)，力求使客户系统性能良好，资源平衡。它包含系统上线前的规划服务与系统上线后的优化服务。系统上线前，惠普根据客户业务特点，为客户规划进行存储、操作系统、数据库、中间件的整体规划与应用开发过程中的性能问题咨询服务。系统上线后，惠普为客户提供系统整体的优化与日常运维所需的各种服务解决方案，力求使客户系统保持在健康、高效的运行状态。

• 系统性能监控、与数据收集
  惠普公司对辽宁局系统各个业务高峰期的系统进行监控并收集相关数据。所收集的性能数据包含范围：主机系统CPU、内存等的使用情况；存储系统分配情况；操作系统备份策略及实施情况；数据库数据文件分布、使用情况、工作状态及Oracle数据库的系统全局区（SGA）的情况；中间件参数配置情况及运行状况；应用软件及业务信息，包括各业务模块的功能、使用频繁度等以及属于核心业务的模块信息。在此阶段，惠普完成了了解业务特性与业务高峰周期，选定了作为《系统性能评估指标手册》（BASELINE）的性能指标。
• 性能评估与分析
  惠普与辽宁局一起收集确定了优化前的性能指标数据，在此基础上惠普对数据进行分析，重点分析了如下内容：各个业务模块的性能数据收集与分析、各模块的资源消耗情况、各模业务模块资源使用的平衡情况、各业务模块数据分布均衡情况、各业务模块间资源冲突情况、业务模块最消耗资源的SQL、确定各个模块的瓶颈、确认各个模块最消耗什么资源、确认各个模块最消耗资源的SQL、确认各模块对资源的消耗是否合理、确认各模块对资源不合理消耗的原因、评估帐务库、营业库间的IO冲突 、确认两个库是否存在物理层的数据交叉、确认数据交叉相互影响的程度、评估数据交叉的合理性。 经分析结果整理成《系统性能分析报告》并制定了BASELINE。同时确定了系统瓶颈以及引发系统瓶颈的原因。
• 制定优化方案
  通过以上分析，惠普制定了优化方案的内容，包含：对存储规划的建议、对操作系统层的建议、对数据库参数的建议、平衡各模块中心数据、平衡帐务、营业库IO冲突的建议、存储方面的调整方案、操作系统方面的调整方案、数据库物理层调整方案、数据库参数调整方案、应用层表、索引调整方案、应用层SQL调整方案、应用层程序调整方案。此外还制定了应急方案，并对优化方案和应急方案进行了测试。
• 方案实施
  方案实施阶段的工作范围包括根据调整后的优化方案配合相应厂商进行优化实施，收集优化后的性能指标数据，制定《系统性能优化评估报告》并确认优化效果。通过调整应用系统(算法\体系结构等),缩短某个交易的服务时间，更均匀的分配任务以及调整资源配置等手段来对系统进行优化。
  
  
  从2006年5月中旬开始，惠普组建的包含应用专家、数据库专家、IBM系统专家、EMC存储专家的实施队伍，用时两个多月，分别对综合客服系统、帐务系统和计费系统进行了系统优化。在项目预期时间内顺利完成任务，并取得了远远超出客户期望的效果。得到了北方电信全体客户的肯定与尊重。

客户受益

经过系统优化，BSS系统整体性能有了大幅提高，其中计费系统较优化前提升7.8倍，帐务系统提升了21.1倍，综合客服系统提升了4.9倍。

• 计费系统优化效果
  
  CPU---计费系统的主机有6个CPU，在日常工作中，CPU的空闲比例一般在70%左右。在业务最高峰的时候，CPU的空闲比例一般在10%左右，因此CPU处理能力目前是比较理想的。
  
  内存--计费系统主机的物理内存为12G，磁盘上的缓存为7.75G。在业务高峰期如果查询统计的用户较多,此时系统会较多的使用缓存，因此在优化时也按调整帐务系统的方法调整了参数，限制了单个数据库进程的最大使用内存的数量，可以有效的控制了系统的内存使用。
  
  
• 帐务系统优化效果
  
  CPU---帐务系统的主机有2个CPU，在业务高峰期，系统的CPU处理能力不足，因此我们在对帐务系统进行优化时，对一些经常频繁执行，消耗CPU时间较多的程序进行了优化，有效地减少了CPU的负载；
  
  内存--帐务系统主机的物理内存为8G，磁盘上的缓存为4G，优化前，正常情况下内存够用在业务高峰期内，如果查询统计的用户较多时系统的内存和缓存基本就不够用了，在优化过程中调整了参数，限制了单个数据库进程的最大使用内存的数量，从而有效的控制了系统的内存使用，避免了因内存用完而出现的故障。
  
  
• 综合客服系统优化效果
  
  CPU---综合客户服务系统有4个CPU，在日常工作中，CPU的空闲比例一般在40%左右。在业务最高峰的时候，CPU的空闲比例一般在5%左右，此时CPU运行队列数量小于10个，系统的CPU处理能力基本还是可以满足要求的；
  
  内存--综合客服系统主机的物理内存为8G，磁盘上的缓存为6912MB。在业务高峰期系统有足够的可用物理内存，系统的缓存基本没有使用。

总的来讲，通过优化，系统的响应速度大大加快，从而使事物的处理速度大幅度提高，系统的整体性能和运行质量得到极大的改善和提升，为辽宁局的业务可持续性发展提供了强有力的保障。同时，在项目实施过程中，通过培训和提供知识转移，提高了辽宁局BSS系统维护人员自身的维护和管理水平，为保持系统的稳定、高效打下了良好的人员和知识基础，让IT系统能够真正为北方电信的业务发展提供更好的服务和支撑。

客户评价

“面对日渐激烈和开放的竞争环境，构建并完善我局的业务支撑系统，提高服务水平，对提高我局的整体运营与管理水平、增强竞争力，都有着不可估量的战略意义。此次BSS系统优化项目，在我局、惠普和其他合作伙伴的共同努力下，取得了卓著的效果，为我们的持续业务发展提供了有力的支撑。”

北方电信公司辽宁省分公司张广