关闭

关闭

封号提示

内容

首页 分类信息实时搜索引擎架构.pdf

分类信息实时搜索引擎架构.pdf

分类信息实时搜索引擎架构.pdf

上传者: 乐以忘忧_怡然自得 2012-10-30 评分 0 0 0 0 0 0 暂无简介 简介 举报

简介:本文档为《分类信息实时搜索引擎架构pdf》,可适用于IT/计算机领域,主题内容包含大会官方网站与资料下载地址:wwwarchsummitcom感谢您参加本次ArchSummit全球架构师峰会!分类信息实时搜索引擎架构龚伟坚同城 微符等。

大会官方网站与资料下载地址:wwwarchsummitcom感谢您参加本次ArchSummit全球架构师峰会!分类信息实时搜索引擎架构龚伟坚同城 微博:hp:weibocomgwjianhappi Email:gwjianhappigmailcom QQ:  实时搜索引擎主要内容 分类信息特点  架构变迁  数据分布  实时设计  架构进化  弹性排序支持  提高可用性 实时搜索引擎分类信息特点() 频道众多以上频道数据异构房产求职信息 Ø 每个频道一个垂直搜索成本太高最好的解决方式是一个统一搜索解决 Ø 对字段做归一化如各个频道的long型字段都配置为param‐l‐*,int型字段配置为param‐i‐*统一配置统一索引  实时搜索引擎分类信息特点() 数据具有地域性且分布严重不均用户查询有明显的地域特征 Ø 单机内数据分片优化,Term级别分片 Ø Term改写:地域idterm,极大减少倒排链长,提高查询速度 Ø 另一优化方案:数据按城市分布但系统会异构扩展性不强  实时搜索引擎架构变迁() apacheproxyStaIc Searcher groupRealIme Searcher  groupStaIc Searcher Cache实时搜索引擎架构变迁() SolrLucene搭建 Ø 难以深度订制多种排序需求 Ø 实时实现打折扣 Ø 运维困难,易出错 Ø Proxy太重型,与业务逻辑绑定太死 Ø 性能瓶颈  实时搜索引擎架构变迁()apacheproxyRealImeSearcher ‐Index dataRealPmeSearcher ‐Index dataRealImeSearcher ‐Index dataRealImeSearcher ‐Index data实时搜索引擎架构变迁() C自主研发 Ø 约亿数据,台机器*组 Ø 单机万数据Latency ms核可支撑querys Ø 后台承受近亿次搜索 实时搜索引擎数据分布() 单机数据量多少合适? Ø RealImeSearcher 能满足latency要求下的最大数据量  多少backup合适? Ø 最大瞬时并发量 Ø backup不足的悲剧: msquery,  cpu *querys, query 累积, querycpu,s后, query等待*ms  实时搜索引擎数据分布()  解决方案 Ø backup余量一定要留足 Ø 后端队列长度要有限定超过限定扔掉。长度为(超时时间平均延时*cpu核数) Ø 改善单机性能减少单query延时   实时搜索引擎实时设计() 系统运行过程 Ø 每月初建立一次全量索引推上线 Ø 实时将用户的增删改操作刷新到系统每台机器 Ø 每月一次运维工作极大简化  实时索引? Ø 数据分段新段生成 Ø s延迟   实时搜索引擎实时设计()  高效检索? Ø 原则:大数据段cache更大有效期更长命中率越高越好 Ø RealIme Searcher内外?运维 cpu Ø 单机一个cache失效 Ø 一个段一个cache,可配置大小生命周期绑定 Ø 大段合并频率低小段合并频率高全量段基本不合并 Ø Proxy针对query选取searcher  实时搜索引擎架构进化() Proxy是否太重型? Ø Proxy结果合并排序过滤Query分析改写   proxyproxymergerRealIme SearcherRealIme searcherRealIme searcherRealIme Searcher实时搜索引擎架构进化() 数据再上升一个数量级呢? Ø Merger也可能成为瓶颈网络merge数据量 Ø Merger应该分级 proxymergerRealIme searcherRealIme searcherproxymergerRealIme searcherRealIme searchermergermergerRealIme searcherRealIme searcher实时搜索引擎弹性排序支持() 各频道排序不一样  排序随时调整proxymergerRealIme searcherRealIme searcherpluginplugin实时搜索引擎弹性排序支持() 支持位置信息 Ø 文档处理 Ø 索引平台 Ø 实现排序plugin Ø Query 变更 实时搜索引擎提高可用性  有损服务  部分合并  灰度发布流量平滑切换版本回滚   实时搜索引擎   Thanks!杭州站年月日~日大会官网:wwwqconhangzhoucom

职业精品

精彩专题

上传我的资料

热门资料

资料评价:

/ 20
所需积分:2 立即下载

意见
反馈

返回
顶部

Q