更多角度看性能优化内部培训

更多角度看性能优化李奎阳同样的案例，不同的角度●由一个报告开始执行次数多逻辑读大性能影响大●从应用的角度看：●如何产生●何以执行如此多次通过设置应用系统的参数，减少执行甚至不自动执行也可避免该性能问题●通过 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 应用需求，也可以确定逻辑读高显然也是存在问题的,,,,,,,,,,,,,,,,a,b=(+)(((=:1=1)(=-1<>2(=:2='0001')))(='N')=0):3486320044||||||()|||0|||||2411(100)|||1|||264|1842411(1)|00:00:29||*2|||264|1842410(1)|00:00:29||*3||264|1762366(1)|00:00:29||4||10145|27743(0)|00:00:01|●拿到执行 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 基本也可定位到问题的根源——无索引可用>();279891———30万左右的总数据量，全 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 扫描因此产生较大逻辑读>();11428————的唯一性非常高， 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 人员已经建立了索引a,b=(+)((=:1=1)(=-1<>2=:2))●分析的过程也即是业务梳理的过程>(*);(*)11-1676017011675126||||||()|||0|||1|799|8(13)|00:00:01||1|||1|799|8(13)|00:00:01||2|||1|799|7(0)|00:00:01||*3|||1|771|6(0)|00:00:01||4||||||||5||||||||6||||||||*7||3|||1(0)|00:00:01||8||||||||9|||||||*10||2|||1(0)|00:00:01||11|||||||*12||3|||1(0)|00:00:01||13|||1|28|1(0)|00:00:01||*14|||1||1(0)|00:00:01|():3-(("A".""=(-1)("A".""='0001'"A".""='1007')"A".""<>2"A".""=1""='0001C710000000010')"A".""=0("A"."""A".""='N'))7-("A".""=(-1))10-(""='0001C710000000010')12-("A".""=1)14-("A".""="B".""(+))7-("A".""=(-1))10-(""='0001C710000000010')12-("A".""=1)★全表扫描得到消除18345/17提高：100000%●优化前后效果对比优化前：150M左右优化后：80480K●不熟悉应用的不是好的性能优化师更深层的思考●第三方优化公司建议：通过适当的冗余字段，消除表关联，减少数据访问共同面临的现实问题●一些程序员也意识到这个问题并且实际情况的复杂程度要更大得多客户端基于安装的客户端基于浏览器的客户端负载均衡防火墙BA系统架构介绍轻量级应用●J2架构可以让这类操作充分利用应用服务器甚至客户端资源动车组效应：●减少数据库压力●减少应用服务器压力●减少网络依赖性多级缓存的应用实践，灵活可配置的客户端缓存●不清楚系统架构的程序员不可能是好的性能优化师这是我们产品早就提供使用了的机制如果清楚了产品架构就能更好的提供这些机制以及应用●里也有关于这个问题的咨询●大量采用的方式●类标量子查询(订单钢种),(企业内部钢种)A延伸问题标量子查询标量子查询：,(b=)1a外连接表关联：,1a,b=(+)('','1');113176184115标量子查询与连接查询类式执行计划上类似的问题很多其实际造成的影响往往也非常大12276010951310729390027126113107293900271269131072939002712941310729390027131713107293900271410131072939002726131310729390027266413107293900272683131072939002727031310729390027271613107293900272790131072939002727961310729390027281313107293900272846131072939002728621310729390027287913107293900274197131072939002743211310729390027案例分析——可怕的锁等待这只是其中的一组，严重时类似的等待与被等待占据整个连接池，活动线程占据整个集群24个所有线程池，整个应用集群无法继续提供服务第一步：先找到锁的源头>12v$1=13107292=390027<>0;12276013107293900271第二步：查看其运行状态>,v$2760;*该当前没有做数据库操作数据库层看锁等待"[]:'15':'()'"10x09e5f6200x1f20[0x3c5c5000..0x3c5c5f30]0()(:129)()()()()()()41(T4:1099)41(T4:1070)4C8(T4C8:478)48(T4:216)4(T4:799)(:1039)4(T4:839)(:1132)(:3285)(:3329)-<064a18>(a4)-<0x731f1208>(a4)(:100)(:103)(:560)(:670)(:2479)中间件层看锁等待处于等待状态的线程堆栈"[]:'17':'()'"10x09b0d1c00x2565[0x3c1000..0x3c130](:462)-<0x72228>(a)(:452)$22()0()(:39)(:25)(:585)(:320)(:129)(:76)(:95)(:763)(:856)$(:225)(:127)(:272)(:26)(:42)持有锁的线程堆栈此线程正在等待锁对象因此迟迟不能执行完成"[]:'14':'()'"10x0a1354e00x17f3[0x3c8000..0x3c80b0]()(:260)(:105)-<0x725618d0>(a)(:412)-<0x72228>(a)$(:336)$(:404)(:115)-<0x72561910>(a)(:169)(:459)-<0x72228>(a)(:616)(:753)-<0x72228>(a)(:462)-<0x72228>(a)(:452)真正的罪魁祸首查看对应的进程在操作系统中的调用：17(1025264560(2334)):这是持有锁的线程#00410()#10741b().0#2078b57b3()#3075803()#40757c347()#50187308f??()#60x09548??()#70x3d1c3528??()#80x3d1c3524??()#90x00000000??()●不熟悉中间件的系统管理员也难成为好的性能优化师这个问题根本的解决之道是修正操作系统的缺陷线程监控性能监控工具简介谁做什么做多久了消耗资源是什么线程信息中间件层端到端监控以此和进行关联快速定位应用系统线程问题活动线程详细信息当前历史中间件层端到端监控联查执行计划中间件层端到端监控案例分析——设计角度看优化层面的优化手段优化前后对比：8566989/9697880多倍！厂商层面的动作类似的问题光里就能找到很多，处理起来也是各显身手*  ((,0)=0)  ((,0)=0=1='1031'    (                                ='1031'                  (,0)=0))从设计的角度来看，可以设计一个字段来回写状态或者下游单据来避免这个问题将简化为：*  ((,0)=0)  ((,0)=0=1='1031'1从设计的角度看,,  a,b,c=  =  ='0001A8100000000007'  ='1146B8100000000003'  >='130104990001'  <='130104990089'|  |              |      |  ||()|    ||  0|          |          |    1|  160|  44  (0)|00:00:01||  1|    |  |    1|  63|    1  (0)|00:00:01||  2|              |          |    1|  160|  44  (0)|00:00:01||  3|            |          |    1|  97|  43  (0)|00:00:01||*  4|      |    1|  55|    2  (0)|00:00:01||*  5|          |1|    1|    |    1  (0)|00:00:01||  6|      |  102|  4284|  41  (0)|00:00:01||*  7|          ||  102|    |    1  (0)|00:00:01||*  8|          |1|    1|    |    1  (0)|00:00:01|案例分析——理解业务逻辑与优化●这类问题金煜基本上瞧一眼就能迅速给出解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ●熟悉业务逻辑令优化柳暗花明档案编码,类别库存组织=='1146B8100000000003'=='0001A8100000000007'>='130104990001'<='130104990089'2万200万500万业务逻辑关系不熟悉业务逻辑的二次开发人员也别想成好的性能优化师隐含的条件：‘1146’库存单据查询实际案例：,=(=0=0='4D'='N'='1404'(1=1)((>='2011-01-01')(<='2011-01-20')(1=1)))原来的逻辑读达到：136582只需增加：‘1404‘逻辑读将为：2938提高：4648%●上的类似案例模拟原始及其执行情况逻辑读：9262734耗时：6分51秒简单优化后执行时间：21秒逻辑读变为：    33946 9262734/33946=27286%("B"."")1b隐含的业务逻辑：当"B".""时，(,1):a.*,a,1b(,1,)=()=人肉优化器的不足：假设(("B".""))为10，那么需要循环10次，将对表访问10次更好的方式：●优化设计●数据库厂商增加●优化思路解析>()2a3(='00010000000000000073'4((7(='1177'='0001'))))9(='0001A8100000000004')1011(*)>=2||||||()|||0|||1871|1152706(1)|00:00:33||*1||||||||2||1871|1152706(1)|00:00:33||*3||||||||4||4|637382706(1)|00:00:33||5||||||||*6||1|1|26|1(0)|00:00:01|00381752503024案例分析——如何兼顾业务灵活性与性能00144120084630*2561*203*1()0()3024改写，可以看到性能提升层面技术问题目前还未修正的一个缺陷3024去掉子查询，虽然结果集多了很多但逻辑读却很小层面可采取的技术手段借用此可以绕过该问题层面可采取的技术手段统计信息571246365730246*327*1*22()0()0统计信息667046548380246*327*1*10()0()0层面可采取的技术手段前后逻辑对比高度灵活的辅助核算设计11t1112t2121t1123t3124t4125t5131t1133t3134t4135t5136t61='1'='2'(*)>=2复杂低效的设计的角度看切合实际的用户使用情况调研●不精通的设计人员也成不了好的性能优化师二八原则：即支持无限扩展又能兼顾热点的性能●不精通的设计人员也成不了好的性能优化师●不熟悉应用的不是好的性能优化师●不清楚系统架构的程序员不可能是好的性能优化师●不熟悉中间件的系统管理员也难成为好的性能优化师性能优化师操作系统数据库程序代码中间件业务需求架构设计..…一次硬件规划的案例分析薪资发放日需满足全公司30万人自助查询薪资某银行人力资源管理系统，甲方负责人对系统提出压力测试要求之一：登陆查询假设只有千分之一的并发度，30万人自助查询薪资将额外增加300的运算需求数据库服务器硬件应用服务器硬件网络带宽客户端真实的需求是什么？自动批量计算薪资，提供差异列表，供人力专员确认即可薪资计算就是必须的吗所有员工可以查询到自己的薪资信息自主登录自助查询发放工资条短信，邮件工资条快递物流信息查询简历浏览信息查询其他的例子个人信用信息查询客商信用计算自动催款等等性能优化也需要解放思想，与时俱进，改善用户体验并同时降低系统压力数字　　巨灵金融服务平台数据显示，目前已公布年报并有可比数据的1449家上市公司，去年应收账款余额高达9361.04亿元，同比暴增30.34%。其中，1089家公司应收账款同比增加，翻番的公司有178家之多。与此同时，其他应收款同比增长48.7%，两者占到同期营收收入的8.8%。　　从绝对量上看，非金融行业的应收账款创出了近三年来的新高。综合企业经营情况来看，创业板上市公司年报暴露出来的应收账款是净利润的3倍多，远远超过主板和中小板。通知业务人员催款减少企业应收款比例应收帐表查询帐龄分析客户信用管理从一次购物经历看性能优化显示为荆州市的商家，实际上是属于该市的县城，“快递”了5天●需求与实现差异带来的糟糕用户体验同一城市的快递，却要先送到另一个城市●索引与执行路径执行计划/索引/以及全局考虑●增加运货线路——增加索引●改变购物方式——改变性能优化理论T响应时间=S工作量/V处理速度在系统处理能力不变的情况下，减少每笔交易所需的工作量是提高系统性能唯一行之有效的办法提高执行速度速度执行时间数据库初始化参数调整内存调整：(…)（…）进程调整：升级瓶颈硬件减少执行成本执行时间执行成本减少耗费的资源减少执行次数避免执行。。。。。性能优化与节能环保硬件厂商的官方数据：服务器功率散热量(）每年耗电（度）每年电费支出（北京电价1.03元/度）M4000*2403268793532036379.9296M5000*27476127546549067454.45283万3万度