下载

1下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初)

Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初).pdf

Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文…

zjznet
2011-10-26 0人阅读 举报 0 0 暂无简介

简介:本文档为《Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初)pdf》,可适用于IT/计算机领域

 放翁(文初) fangwengtaobaocom  Outline s Web请求异步化处理的实践 s Web请求异步化的原因 s 异步化模式在开放平台的使用场景 s “海量”数据“即时”分析 s “海量”、“即时”的需求背景 s 整体设计结构和思路 s 优化实践 Web请求异步化的原因s 为什么要异步化?      根本原因:容器线程利用率不高。 s 业务处理天然异步化需求(业务处理消耗比较久外部事件激发) s 减少连接带来的消耗充分利用服务端并行处理能力 s 减少业务依赖不稳定对容器线程资源的低效率占用 容器线程业务处理渲染展示异步化模式在开放平台的使用场景框架控制串行化逻辑隔离 实际应用:服务降级Beta发布   半异步化模式再次分配请求处理资源  实际应用:服务隔离   并行任务执行部分累加输出  实际应用:batch api   基于事件驱动服务端异步消息推送 实际应用:streaming api 异步化模式在开放平台的使用场景管道化:  串行逻辑非关键路径降级。 框架级支持公用逻辑植入。(loglazy parserevent drivencomet…) 流程逻辑复用与隔离。   异步化模式在开放平台的使用场景异步化模式在开放平台的使用场景异步化模式在开放平台的使用场景,, 某一天三个时间段的淘客服务统计数据服务隔离的效果异步化模式在开放平台的使用场景异步化模式在开放平台的使用场景“海量”、“即时”的需求背景现状需求监控告警趋势分析(结果产出周期小于分钟)平台维度分析服务维度分析应用维度分析亿(G)台实体机器+台虚拟机器整体设计结构和思路整体设计结构和思路Master:管理任务(分析任务)合并结果(Reduce)输出结果(全量统计增量片段统计)Slave:Require Job  Do Job  Return Result随意加入退出集群。Job:(Input  Analysis Rule  Output)的定义。整体设计结构和思路• 后台系统任务分配:无负载分配算法采用细化任务+工作者按需自取+粗暴简单任务重置策略。• Slave与Master采用单向通信便于容量扩充和缩减。• Job自描述性:数据来源分析规则结果输出。异构化任务处理集群共享Slave。• 数据存储无业务性分析规则包含业务含义(优势在于可扩展劣势在于全量扫描日志)• 透明化整个集群运行状况保证简单粗暴的方式下能够快速定位出节点问题或者任务问题。• Master单点采用冷备方式解决。(异步化外移状态减少服务端状态数据)整体设计结构和思路MasterSlave数据量:千万­‐­‐>亿 ­‐­‐>亿 ­‐­‐>亿。 报表输出结果:份配置 ­‐­‐>份 ­‐­‐>份 ­‐­‐>份。 统计后的数据量:k  ­‐­‐>M  ­‐­‐> G。 统计周期的要求:天 ­‐­‐>分钟 ­‐­‐>分钟 ­‐­‐>分半。优化实践纵向系统的工作的分担平面化分担合并任务 中间结果输出外部合并优化实践流程中间数据优化减少中间结果无用存储和处理压缩中间结果和内部标识(可逆vs不可逆算法vs对照表)节省带宽内存cputaobaousergetfangweng服务成功率=服务成功次数服务总数优化实践特殊化处理特殊的流程:Master 简化序列化(已知序列化对象可简单化)  减少内存申请尽快释放处理后的数据  减少中间过程的消耗优化实践特殊化处理特殊的流程:<K,V>  à  Report  = N * <K,V> group by  K Report apiName,apiTotalCount,apiResponse,apiFailCountapiName,apiResponseapiName,apiTotalCountapiName,apiFailCountKV PoolKV PoolKV Pool深度遍历二维数组  广度遍历一维数组优化实践合并调度及磁盘内存互换的优化: 合并数据是内存消耗重灾区: 合并前有大量数据挂接在接收缓存列表上 合并过程会消耗大量的内存 合并后主干占用大量内存 输出时占用大量内存合并数据是内存消耗重灾区: 是否可以快速处理回收? 是否可以减少中间结果占用空间 是否可以释放主干需要时载入 是否可以压缩和过滤优化实践合并调度及磁盘内存互换的优化: 优化实践磁盘内存互换的优化: 消耗: 主干载入和输出 收益: 周期内主干内存释放(GC减少提高速度)  优化细节: 载入最优时机 输出内容压缩速度加快 导出异步化  优化实践    利用可横向扩展的系统来分担纵向扩展系统的工作。    流程中中间数据的优化处理。    特殊化处理可以特殊处理的流程。    从整体流程上考虑不同策略的消耗提高整体处理能力。    资源的快用快放提高同一类资源利用率。    不同阶段不同资源的互换提高不同资源的利用率。 附录分析器:http:codetaobaoorgptop­‐analyzersrctrunk  异步化:http:codetaobaoorgpPipeCometsrctrunk  RESTlogdrager:git:githubcomcenwenchuPythonBoxgit 附图附图附图附图

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/29

Web请求异步处理和海量数据即时分析在淘宝开放平台的实践(岑文初)

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利