邱跃鹏：海量SNS网站的柔性运营

邱跃鹏：海量SNS网站的柔性运营海量SNS网站的柔性运营 2009.08 海量SNS网站特点  千万级用户在线  每日数十亿次PV  数千台服务器  数百G用户访问带宽  P级UGC内容存储  每秒百万级动态数据请求 Qzone的挑战  活跃用户超过2亿  日点击量超过100亿  日上传照片超过1亿海量SNS网站运营要点 质量 速度 成本 4 海量SNS网站运营要点 • 质量的挑战 – 故障10分钟成千上万的用户投诉 – 故障10分钟损失过10万 – 上千台服...

海量SNS网站的柔性运营 2009.08 海量SNS网站特点  千万级用户在线  每日数十亿次PV  数千台服务器  数百G用户访问带宽  P级UGC 内容存储  每秒百万级动态数据请求 Qzone的挑战  活跃用户超过2亿  日点击量超过100亿  日上传照片超过1亿海量SNS网站运营要点 质量 速度 成本 4 海量SNS网站运营要点 • 质量的挑战 – 故障10分钟成千上万的用户投诉 – 故障10分钟损失过10万 – 上千台服务器，硬件故障随时发生 – 上千种后台服务，软件故障不可避免 – 复杂的内外网环境，网络问题家常便饭 5 质量四步法 • 立体化监控 • 流量调度 • 柔性可用 • 梯度服务 6 质量第一步—立体化监控 • 基本的网管监控(服务器、流量、进程) • 容量系统对高负载进行预警 • 模块间调用监控系统 • 自动化测试监控系统 • 全网测速告警数据SET 接入SET1 接入SET2 接入 SET3 用户访问请求 IDC 2 (城市乙) IDC 1 (城市甲) 质量第二步—同城、异地流量调度 ★流量的自由调整对抗网络、IDC的硬件故障流量中转SET IDC N(城市丙) 质量第步—柔性可用 • 故障发生时 – 柔性服务可用 – 提供保护措施，不破坏用户数据 – 及时告知用户，取得谅解 9 空间的只读模式和异常模式 10 综合配套措施 11 1 2 3 质量第四步—梯度服务 • 建立故障梯度服务计划 – 100%带宽，最优服务 – 80%带宽，取消增值体验 – 50%带宽，保证基础功能 – 20%带宽，提供核心功能 – 5%带宽，公告页面 12 海量SNS网站运营要点 质量 速度 成本 13 用户速度体验的1-3-10原则 14 海量SNS网站运营要点 • 速度的挑战 – 网站速度不能低于3s – 用户模板可以DIY – 盈利需要装扮方案 – 黄钻需要特权 – 用户数据数量大，P级数据热点不明显 15 首页需要大量个性化信息，位置可DIY 16 速度六步法 • 用户端cache • CDN分布 • 提升核心动态数据速度 • UGC内容放入存储平台 • 按需加载 • 建立监测平台，持续优化 17 速度第一步—用户端cache • 静态内容包括图片，flash等适于长期 cache • 通过cache策略让80%以上用户请求访问本地cache 通过cache过滤大部分静态数据请求速度第二步—CDN部署腾讯CDN平台 • 将存储量有限，但带宽量达数百G规模的页面静态数据迁入CDN系统 • CDN静态数据流量可以达到动态数据流量的5-8倍 • 静态内容响应速度更快速度第三步—提升核心动态数据速度用户动态数据请求每秒仍达到数百万次数据内容包括： • 关键业务逻辑计算 • 核心用户数据读写与保存特点： • 响应速度要求很高 • 数据量小 • 扩容等调整频繁速度第三步—提升动态数据处理能力 TTC内存cache集群 • 内存级热点数据 • 扩容等内存数据不丢失 • 内存管理可二次开发优化第三步—提升动态数据处理能力数据库 100次/S 接入服务器 TTC0(32G) 命中率90% TTC2(32G) 命中率0% TTC1(32G) 命中率0% 数据库 100次/S增长到1000次/S 优化第三步—提升动态数据处理能力数据库 100次/S 接入服务器 TTC0(32G) 命中率90% TTC2(32G) 命中率0% TTC1(32G) 命中率0% 数据库 1xx次/S,压力基本不增长 TTC2(32G) 命中率90% TTC1(32G) 命中率90% 速度第四步—UGC内容放入存储平台腾讯存储平台-提供海量存储，高IO并发访问且廉价的海量数据存储系统 • 将P级数据量的UGC内容部署于存储平台 • 存储平台可支持全国分布，及热点内容就近cache - 把用户最关心的内容优先呈现 > 内容优先于装扮 > 文字优先于图片 - 屏幕上不显示的东西，不加载 > 提升内容显示速度 > 减少不必要的流量下载 25 速度第五步—按需加载 Qzone信息中心按需加载 26 速度第六步-建立监测平台，持续优化海量SNS网站运营要点 质量 速度 成本 28 巨额的成本，是硬扛还是优化? 建立大坝来硬扛？ • 依靠庞大的服务器集群？ • 依靠拥有骨干网出口的核心IDC？ • 依靠庞大的运营团队？带来的是：巨额的运营成本 - 极度紧张的IDC资源 – 层出不穷的运营故障！只有通过持续的成本优化才能应付自如成本四步法 • 加速手段是双赢 • 集群化、轻量化、标准化 • 分级容量管理 • 产品策略削峰填谷 30 成本第一步—加速手段是双赢 • 自建CDN平台 • 自建存储平台，解决海量存储 • 按需加载 • 静态化（即使更新较频繁保证在一个时段内只有一份静态数据）成本第二步—集群化，轻量化，标准化 • 接入服务器集群（GSLB+LVS+Qzhttp) • 逻辑服务器集群（S++) • 轻量内存cache集群（TTC+Mysql) • 海量数据存储平台（TFS、TDB）成本第三步—分级容量管理 • 明星业务低容量 • 金牛业务合理容量 • 瘦狗业务高容量优化第四步—产品策略削峰填谷 • 产品策略调整 – 引导用户健康上网 – 访问量(带宽流量、服务器负载)削峰填谷 – 适度减少非关键内容 34 每天0点可以进行新一轮奴隶购买 35 用户养成不好的上网习惯 36 策略调整为0-6点，折磨安抚收入减半 37 高峰期适度减少非关键内容 38

                    本文档为【邱跃鹏：海量SNS网站的柔性运营】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

邱跃鹏：海量SNS网站的柔性运营

你可能还喜欢