客户感知评估体系的建立和应用

客户感知评估体系的建立和应用 客户感知评估体系的建立和应用 一、项目背景 随着移动通信的迅速发展和市场竞争的不断加剧，网络质量成为增强企业竞争力的关键因素。各个移动通信运营商更加重视从客户的角度去衡量全网的质量水平，借此有效提升客户感知价值，而目前的网络质量评估工作主要存在以下不足。 1、产业竞争日益激烈，网络运维分析需发挥最大效用，为市场发展提供强有力支撑。而目前的网络运维分析对象主要面对网元自身，与市场行为、用户行为不挂钩，不能体现业务端到端质量，无法有效体现客户真实感知价值、支撑市场竞争。 2、传统网络指标滞后于用户感知，甚至与用户感知相背离，时常出现网络、设备并无任何异常，但用户感知业务质量已出现劣化。单通、串话、噪声、上网速度慢、业务开通成功率低等影响业务感知的现象，无法用故障和传统的KPI表征。甚至，时常会出现网络、设备并无任何异常，但用户感知业务质量已出现劣化。因此，网络评估分析工作需要面向客户感知转变。 3、客户对网络质量的感知受主、客观多种因素的影响。网元好不代表端到端质量好、均值好不代表局部地区好、测试好不代表单用户好、统计好不代表感受好。真实的端到端客户感知度无法有效评估～ 4、传统话统指标基于网元设备的处理过程，没有面向客户感知 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ，指标的统计点不对应实际客户感知，更加不能实现对用户客户感知的端到端管理。尤其是发展迅速的手机上网业务和WLAN业务，缺乏有效的分析掌控点，客户感知度较差。 5、网管系统以常规报表为主，每日质量分析、异常问题分析，必须提取、查看多张报表，进行手工分析，效率低下，且分析经验都存在分析人员的脑子里，得不到有效固化和传递。 本项目的研究是为了解决上述问题，也为了更好的从客户角度衡量全网的质量水平，让网络维护优化工作更加面向客户，以提升客户对网络的感知，提高公司竞争力。 1 二、实现 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 或方案优选过程 一、参考TMF GB923，以客户感知为导向，从端到端业务流程和服务流程入手，找到关键业务体验点，结合业务遍历环节， 建立从QOE——>KQI——>KPI评估模型，见下图。层层剖析到需要监控分析的末端KPI，据此构建一套涵盖QOE\KQI\KPI的客户感知评估体系。 本项目建立的客户感知模型，以客户体验感知价值为目标，以关键的端到端业务质量为评估控制的关键所在。通过各项网元性能为纽带，将日常运维的网元保障工作和业务质量进行贯通，通过评估控制业务质量指标，促进运维水平和客户感知价值的双向提升。 在该客户感知模型中，客户感知(QoE)是面向最终用户的体验。KQI是决定电信业务QoE的关键质量指标，KPI是网元设备测量的性能指标。KQI与KPI都来自于客观性能测量数据。KPI和KQI最大的区别，就是KPI从网元设备的角度出发关注过程，而KQI则从终端用户角度出发关注的业务质量的结果。KQI 可以由几个KPI聚合而成，或者由某个KPI通过一定的算法模型进行表征，也有可能与某个KPI相同。 二、从全业务运营角度出发，多维度拓展分析数据源，研究拨测信息、信令监测信息、话单信息、traffica呼叫记录等信息，从中抽取客户感知相关KQI和KPI，按照QOE——>KQI——>KPI评估模型，进行数据挖掘、关联，逐步建立涵盖GSM网络语音、TD网络语音、视频、GPRS数据上网、WLAN等各项业务用例客户感知评估指标体系。 (一)借鉴TMF无线业务测量 (WSMT，Wireless Service Measurement 2 Team)，提出的业务质量设计流程，由上至下将业务逐层分析，最终把用户对业务的质量体验分解成组成产品的各个服务的质量，并将服务与网络、非网络数据进行映射，最终由这些数据聚合成可供测量的KQl。具体过程如下: 使用群体、质量特性、地域特业务场景分析征、外界影响。。。 关键业务体验点: 登记、寻呼接入、附着、通业务流程分析 话、切换、挂机。。。 资源要素: 终端、无线接入网、核心网、业务使用资源分析 承载传输网。。。 资源1资源2资源3 流程1关键业务体验点和 流程2资源要素矩阵分析 流程3 设计KQI集合 (二)按照上述设计思路，我们以语音业务为例，设计,,,,,的语音业务,,，集合。 首先通过业务场景、业务流程和业务资源分析，建立关键业务体验点和资源要素的矩阵分析。 3 再通过矩阵分析结果，从客户感知的,大维度，设计业务,,，集合。 网络信号覆盖 覆盖率 端到端(,,,)主叫接通率 接入性 接通性 端到端被叫接通率 端到端主叫接通时长 保持性 通话连续性 掉话率 MOS 单通比率 完整性 语音质量 串话比率 回声比率 三、从结果向过程寻找量化关系，科学计算感知要素占比，运用加权算法进行客户感知度量化评估，引入相对价值评估模型对感知度进行对比校正。同时，研究建立自动钻取式挖掘分析模型，实现端到端业务QOE\KQI的自动评估和劣化原因智能分析。 (一)运用关联规则、趋势、聚类等数据挖掘手段计算出影响用户感知的要素占比，根据加权定义各个KPI对业务的影响程度，运算得到最终的业务KQI和QOE评估结果情况。 1、根据业务特征，基于评估模型，从结果向程寻找量化关系，运用关联规则、趋势、聚类等数据挖掘手段进行跟踪评估，对影响用户感知的主要因素进行排序，计算各类感知要素占比，确定各项KPI、KQI的权重。 4 2、根据业务特征，数据挖掘结果，确定各类别指标的权重，运用加权算法进行客户感知度量化评估。预先加权定义各个KPI对业务的影响程度，运算得到最终的业务KQI评估结果情况。 客户感知(QOE) 局部整体 整网KQI各KQI VAP比例 总体QOE算法如下: N QOERX,，其中:R表示分项QOE权重，表示KQI所对应的QOE。 X,nnnnn,1 KQI和KPI之间的评估算法与此类似。可以通过每一项KPI的完成值计算得出各项KQI的指数得分。具体各类业务场景例如彩信业务、短信业务、TD视频等数据业务，分区域的场景如高校区域、商业区域也可以按照此 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 得出评估结果。 (二)在本网自身价值评估模型的基础上，引入相对价值评估法，进行客户感知度对比校正。 相对价值评估法就是，在评估本网客户感知价值的同时，将评估体系应用到竞争对手的网络中，评估相同时间、空间和业务用例条件下本网和他网客户感知价值的差异。并用此评估结果对最终客户感知度进行校正。当比较评估的结果显示本网客户感知价值低于他网时，将立即给予该地域下被评估业务客户感知问题警示，快速进行网络优化。 (三)研究从整体到局部的钻取关联分析模型，实现客户感知劣化的逐层智能分析。 从时间、空间、资源、关联关系、外部因素等多个维度，总结日常分析方法和经验，梳理研究分析规则。总体思路如下: 5 分析模型举例如下: 无线接入性 是否达标 天气是否异是常未达标地区分公司否 是否有市场是活动下钻至BSC 否 是否达标由于天气或者与外部因素无市场活动导致关 未达标的BSC 下钻至小区 是否达标关联指标 信道配置载频配置TCH分配成功SDCCH分配成未达标的小区率影响功率影响 是否超过预是否超过预是警门限结论警门限(TCH分配成功率低或者SDCCH分配成否否功率低导致无线接入性未达标)是结论结论(配置资源充足，(配置资源不足，与资源无关)与资源有关) 将自动分析规则在系统固化，实现系统根据自动分析触发条件和分析规则，进行自动钻取式挖掘分析，并呈现分析结论，从而实现业务的QOE\KQI自动评估和劣化原因智能分析。 (四)研究用户群体、区域特征、时间变化等外部因素对客户感知的影响，将用户使用行为，感知需求、感知体验的差异、资源使用情况进行关联分析，建立差异化场景客户感知评估模板。 四、将体系研究成果和市场支撑、客户服务紧密联系起来，对当前热点的上网业务和WLAN业务进行重点评估应用，对VIP客户进行分时段和分区域的差异化评估。让客户感知评估成为支撑市场发展、提升客户满意度的有力武器。 6 (一)GPRS数据上网业务客户感知评估应用: 根据影响客户感知的现象，从接入能力、有效能力、完整能力、速度能力、服务能力五个维度入手，进行,,,,上网业务客户感知评估。 ,、按照手机GPRS上网端到端流程，见下图。从网元侧分段梳理出贴近客户感知的KPI指标全集。 手机GPRS上网(WAP业务)主要有以下几个过程: , PDP激活(PDP context setup) , WAP网关连接过程(WAP GATEWAY connect) , WAP GET/POST过程(WAP GET/POST) 每个过程的连接情况和涉及网元为 具体PDP激活 PDP激活主要是为了建立终端与GGSN之间的IP连接。涉及到通过APN查询SGSN地址，RADIUS认证等。涉及的网元包括: SGSN、DNS、GGSN、RADIUS SERVER、WAP网关 WAP网关连接 WAP网关连接过程是终端向WAP网关发送申请，及WAP网关的响应过程。 涉及的网元包括: SGSN、GGSN、WAP网关 WAP GET/POST过程 在WAP网关连接建立后，终端会向WAP网关发送GET/POST申请，请求获取某个URI的内容或发布内容。WAP网关在收到请求后会检查自己的DB，以确认此连接是否被允许。检查通过后，WAP网关会向DNS SERVER请求URI的IP地址，然后根据IP地址发出HTTP get请求。此过程涉及的网元包括: SGSN、GGSN、WAP网关、DNS SERVER 因此从网元侧得到手机GPRS上网(WAP业务)所有KPI指标，包括性能、告警、投诉、业务 7 测试等，如下。 , KPI1: PDP context activate successful rate (PDP激活成功率) , KPI2: PDP context activate delay , KPI3: WAP connect successful rate , KPI4: WAP connect delay , KPI5: WAP GET/POST successful rate , KPI6: WAP GET/POST response delay , KPI7: Server response delay , KPI8: WAP GW process time delay , KPI9: WAP DL/UL throughput , KPI10: WAP DL/UL packets lost ratio , GGSN中断时长(告警指标) , „„ 整理这些KPI指标，再按照接入能力、有效能力、完整能力、速度能力、服务能力的维度，确定和上述QOE相关的KPI指标。这些KPI和KQI是贴近客户感知的真正核心内容，是需要进行重点监控和评估分析的。 手机上网业务质量 QOE KQI 完整能力 接入能力 覆盖能力 速度能力 开通服务 能力 ATTACH成功率 EDGE覆盖率 WAP GW连接成功率 ATTACH延迟 APN设置错误 PDP激活成功率 弱覆盖比率 Radius成功率 PDP激活时延 域名错误 TBF建立成功率 上下行电平值 DNS查询成功率 WAP GW连接时延 用户无GPRS功能 SGSN负荷 WAP GET成功率 WAP GET 时延 投诉工单处理及时GGSN负荷 WAP POST成功率 WAP POST时延 率 WAP网关负荷 TBF Drop rate WAP GW处理时延 问题解决时长 Gb Gn Gi接口负荷 DL/UL throughput GPRS上网万人投诉GGSN\SGSN\WAP中WAP DL/UL丢包率 诉比 断时长 KPI 2、根据业务特征和数据挖掘结果，确定各类别指标的权重。预先加权定义各个KPI对业务的影响程度，运算得到最终的业务KQI评估结果情况。总体客户感知指数也可以由各类KQI客户感知指数均衡获得。具体各类业务场景例如彩信业务、短信业务、TD视频等数据业务，分区域的场景如高校区域、商业区域也可以按照此方法得出评估结果。 8 (二),,,,业务客户感知分析评估应用 WLAN业务是近期发展迅速、用户使用的一个热点。我们遵循WSMT业务质量设计流程，从用户使用业务类型、业务流向两个方面入手，研究WLAN业端到端务客户感知评估体系，并通过WLAN自动拨测和巡检卫士进行体系的系统固化。 1、从用户主要业务需求游戏、视频以及WEB浏览业务入手，梳理客户感知指标，进行感知门限普查，确定客户感知差异化等级 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 。 2、根据WLAN业务现网路由情况，研究业务在不同的路由方向上，客户感知度的差异，解决网络资源瓶颈问题。 3、通过自动拨测和移动业务监测系统对客户感知评估体系进行系统固化和应用。自动拨测系统可模拟用户行为对热点区域的WLAN业务的客户感知进行自动拨测，主动实时监控WLAN系统运行状态，及时发现并处理影响客户感知的事件。系统流量走向如下图: 9 CMNET AC1 AC2SE800-2SE800-1WLAN监控、巡检系统 S8505Acess链路Trunk链路 A热点WLAN接入B热点WLAN接入交换机交换机 支持UWDS模式的无APAP线路由器 创新试点热点普通热点 (三)量化VIP客户每次通话质量 VIP客户的通信质量是客户感知评估关注的一个重点。通过跟踪高端客户的通话质量、通信行为、网络感知、手机性能等，时刻掌握高端客户通信质量，可以发现网络的潜在问题，优先及时地解决客户遇到的问题或者隐患。 本项目评估体系中的话单数据及相关统计数据可以为VIP客户的每次通话质量给出一个感知评估。感知评估全面考察客户每一次从起呼到接通以及完成通话的通信质量，通过对每次通话质量的感知评估判断重要客户对网络的满意情况，做到在客户没有投诉之前就处理、解决好网络问题，提升客户对移动网络服务的感知。 感知评估的思路如下:当一个客户在网络质量良好的情况下完成通话，感知度为100，当出现不同的网络异常情况时减去相应的权值，最后得到客户对于网络的感知度。例如以天为单位，关联重要客户级别(钻石VIP、金牌VIP等)，查询时间区间内的掉话次数、掉话率与通话时长来，用相关算法计算保持性QOE评估。 三、主要成果和应用情况 ,一,制定《客户感知网络质量评估体系》 梳理上述研究成果，同时收集涵盖各个场景评估案例，从评估手段、评估方法、评估结果等多角度总结和固化评估经验，制定了《客户感知网络质量评估体系》技术文档。成为指导全省运维人员提高运维水平、支撑市场客服、提升客户满意度的有力武器。 ,二,应用情况 1、经过对于网络质量评估体系的研究，特别是围绕客户感知对原来的质量指标和评估模型进行了较大程度的更新后，新的网络质量评估体系越来越贴近实际客户感知，更能将客户急需解决的问题逐渐显性化。在提升优化水平、做好市场支撑、疑难问题处理等方面取得显 10 著成效。 (1)用户感知网络优化能力提升 , 使网络优化真正从网元层面转向用户层面，网优工作真正面向用户服务; , 细致到一对一的用户感知性能的管理; , 先于用户发现突发的问题，切实提升用户的满意度。 及时发现并杜绝各类安全隐患问题41起，隐患解决时长缩短一半。先于客户发现业务降质问题40余件，定位时间从10分钟缩短到1分钟。 09年1110年5 月 月 全网E2E接通率、掉话率、彩信E2E接收成功率、数据业务下载速率等重要指标明显提升，网络质量明显改善。 (2)市场营销支撑: , 针对性的用户感知评估，可以作为很好的营销铺垫; , 掌握重要用户群的分布和移动规律，提升营销效果; , 重要用户的“呼叫社会性”，争取重要客户掌握主动; , 手机终端能力分析，利于新业务的有效推广; , 识别特定的区域内的重要用户群，对于营销和网络设备资源投入很有指导意义。 体系成果能评估特定区域、特定用户群的行为特点，用来协助市场部门开展GPRS手机上网提升专项活动，对客户开展针对性的营销工作，取得了良好效果。 疑难问题处理支撑: , 为突发小概率事件提供详实的分析数据; , 对包括信令监测、业务监测等信息源的全方位整合，利于快速准确解决疑难问题。 利用评估体系的不同场景评估成果，在高校开学、春节、世博等通信保障工作中排查出业务高峰时存在严重影响客户感知的的网元设备16起，用户接入安全隐患2起。顺利度过业务高峰的冲击。 及时发现解决单通、串话、无声音等业务质量问题36起，终端设置不当影响业务使用问题25起，山寨机干扰网络问题9起，第三方业务平台故障7起。 2、通过流程优化，扩展到客户感知服务体系，致力于提高网络服务能力，支撑市场和客服，以提高客户满意度为最终目标。对解决影响客户感知的网络隐患，提升客户满意度方面取得显著成效。 11 四、效益分析 ,一,经济效益分析 1、项目直接收益:(541.2+91.3)*2=1265万元 该项目研究的客户感知评估分析体系，有助于快速发现、定位和处理业务降质情况，挖掘网络故障、隐患，降低业务影响，有效吸收话务量。 (1)网元数15130×故障率( 0.07次/月/网元-0.02次/月/网)×平均每次故障影响业务量123爱尔兰×优惠后量收比9.7元/爱尔兰×6个月=541.2万元。半年挽回损失541.2万元。 (2)保证网间网内业务有效吸收，重要节假日和活动期间多吸收话务量94136爱尔兰，按照优惠后量收比9.7元/爱尔兰，半年来多增加收入94136×9.7,91.3万元。 2、项目间接收益:(12+43.8)*2=111.6万元 提高分析优化工作效率，缩短故障处理时长。 (1)在网络部可节约网络监控、预警人员每班次各1名，四班次共8人。以人工成本半年1.5万元算。共节约人工成本:8*15000=12万元。 (2)平均每次故障处理时间缩短4小时，节约维护成本30元(每人每小时)×4×15130×(0.07-0.03)×6,43.8万元; 3、项目投入:42万元 本项目投入在于组织研究评估模型、指标体系和量化算法，及部署固化相关成果，费用约42万元。 综上所述，回收期=项目总投资/项目直接收益=42/1265=0.033. ,二,社会效益 1、紧跟通信发展步伐，提升全业务竞争能力 留住客户的最终手段只有“网络和服务”，而优质的服务又是基于优质的网络，该项目是全业务运营而提出的创新性超前性的客户感知评估分析体系。 2、转变运维分析观念，提升端到端客户感知分析评估能效。 该项目以客户感知为导向，进行业务端到端质量评估，网络质量和客户满意度明显提升、有助于提高用户粘性和进一步增强对竞争对手的领先优势，为推动“双领先”战略的实施和抢占市场制高点打下了坚实的网络基础。 3、项目见解独到，易于拓展，提升全业务运营能力，满足客户多样性的需求。 本项目立足于客户感知，从业务流程和服务流程入手，建立通用评估模型和量化算法，可进行各类移动通信业务多场景评估，适用于安徽公司未来的网络演进和业务演进，极大提高智能业务、数据业务新产品开通、监控、维护能力，满足广大客户多样化的业务需求。 五、其他 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 12 13