当今搜索引擎技术及发展趋势(1)

随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就象大海捞针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。搜索引擎（SearchEngine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。据发 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9T，并且仍以每4个月翻一番的速度增长。用户要在如此浩瀚的信息海洋里寻找信息，必然会“大海捞针”无功而返。搜索引擎正是为了解决这个“迷航”问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。一、分类按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类：1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、OpenDirectory、GoGuide等。2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、NorthernLight、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：“天网”、悠游、OpenFind等。3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。二、性能指标我们可以将WEB信息的搜索看作一个信息检索问题，即在由WEB网页组成的文档库中检索出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率（Recall）和精度（Pricision）衡量一个搜索引擎的性能。召回率是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统（搜索引擎）的查全率；精度是检索出的相关文档数与检索出的文档总数的比率，衡量的是检索系统（搜索引擎）的查准率。对于一个检索系统来讲，召回率和精度不可能两全其美：召回率高时，精度低，精度高时，召回率低。所以常常用11种召回率下11种精度的平均值（即11点平均精度）来衡量一个检索系统的精度。对于搜索引擎系统来讲，因为没有一个搜索引擎系统能够搜集到所有的WEB网页，所以召回率很难计算。目前的搜索引擎系统都非常关心精度。影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制三、主要技术一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。1.搜索器搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略：从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。2.索引器索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。索引表一般使用某种形式的倒排表（InversionList），即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引（InstantIndexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量3.检索器检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。4.用户接口用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。用户输入接口可以分为简单接口和复杂接口两种。简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非；、-）、相近关系（相邻、NEAR）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。四、未来动向搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以具有综合性和挑战性。又由于搜索引擎有大量的用户，有很好的经济价值，所以引起了世界各国计算机科学界和信息产业界的高度关注，目前的研究、开发十分活跃，并出现了很多值得注意的动向。1.十分注意提高信息查询结果的精度，提高检索的有效性用户在搜索引擎上进行信息查询时，并不十分关注返回结果的多少，而是看结果是否和自己的需求吻合。对于一个查询，传统的搜索引擎动辄返回几十万、几百万篇文档，用户不得不在结果中筛选。2.基于智能代理的信息过滤和个性化服务信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型（如Web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构）、用户模型（如用户背景、兴趣、行为、风格）知识进行信息搜集、索引、过滤（包括兴趣过滤和不良信息过滤），并自动地将用户感兴趣的、对用户有用的信息提交给用户。3.采用分布式体系结构提高系统规模和性能搜索引擎的实现可以采用集中式体系结构和分布式体系结构，两种方法各有千秋。但当系统规模到达一定程度（如网页数达到亿级）时，必然要采用某种分布式方法，以提高系统性能。搜索引擎的各个组成部分，除了用户接口之外，都可以进行分布：搜索器可以在多台机器上相互合作、相互分工进行信息发现，以提高信息发现和更新速度；索引器可以将索引分布在不同的机器上，以减小索引对机器的要求；检索器可以在不同的机器上进行文档的并行检索，以提高检索的速度和性能。4.重视交叉语言检索的研究和开发交叉语言信息检索是指用户用母语提交查询，搜索引擎在多种语言的数据库中进行信息检索，返回能够回答用户问题的所有语言的文档。如果再加上机器翻译，返回结果可以用母语显示。该技术目前还处于初步研究阶段，主要的困难在于语言之间在表达方式和语义对应上的不确定性。但对于经济全球化、互联网跨越国界的今天，无疑具有很重要的意义。五、学术研究目前搜索引擎领域的商业开发非常活跃，各大搜索引擎公司都在投巨资研制搜索引擎系统，同时也不断地涌现出新的具有鲜明特色的搜索引擎产品，搜索引擎已经成为信息领域的产业之一。　NEC美国研究所的SteveLawrence和C.LeeGiles1998年和1999年连续两年在《自然》和《科学》杂志上撰文对搜索引擎技术的研究进行评述。著名的信息检索会议TREC也从1998年开始增加了WebTrack课题，以考察Web文档与其它类型文档在检索性质上的不同之处，并将测试在大规模的Web库（如100G字节）上进行信息检索的算法性能。由美国Infornotics公司主办的搜索引擎国际会议从1996年开始，每年举行一次，对搜索引擎技术进行 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 、讨论和展望，参加者有著名的搜索引擎公司、大学和研究机构的学者，对搜索引擎技术起到了很好的推动作用。另外象IEEE主办的国际万维网会议、人机交互会议已有越来越多关于搜索引擎技术研究的文章发表。搜索引擎的三大定律第一定律相关性定律听起来象是一篇学术论文，的确，就连第一，第二定律的提法以前也没有过，但是第一，第二定律的内容确早已在业界和学术界得到了公认。其实这第一定律是早在互联网出现之前就被学术界广泛研究过的，那就是所谓的相关性定律。这个领域那时叫情报检索，或信息检索，也有叫全文检索的。那时的相关性都是基于词频统计的，也就是说，当用户输入检索词时，搜索引擎去找那些检索词在文章（网页）中出现频率较高的，位置较重要的，再加上一些对检索词本身常用程度的加权，最后排出一个结果来(检索结果页面)。早期的搜索引擎结果排序都是基于本文的第一定律的，如Infoseek，Excite，Lycos等，它们基本上是沿用了网络时代之前学术界的研究成果，工业界的主要精力放在处理大访问量和大数据量上，对相关性排序没有突破。词频统计其实根本没有利用任何跟网络有关的特性，是前网络时代的技术。然而，网络时代的主要文献是以网页的形式存在的，而几乎每个人都可以随心所欲地在网上发表各种内容，词频相同的两个网页，质量相差可以很远，可是按照搜索引擎的第一定律，对这两个网页的排序应该是一样的。为了能够派在某些检索结果的前几位，许多网页内容的制作者绞尽脑汁，在其页面上堆砌关键词，搜索引擎对此防不胜防，苦不堪言。这种情况到了1996年开始有了改变。■第二定律人气质量定律1996年4月，我到赌城拉斯维加斯开一个有关信息检索方面的学术会议，会议的内容就象拉斯维加斯的天气一样，照例比较枯燥乏味。但远离公司的我，却难得有一个静下心来认真思考问题的机会。就在听一个毫不相干的论文演讲的时候，我突然把科学引文索引的机制跟Web上的超级链接联系起来了-感谢北大，她在我上大三的时候就教授了我科学引文索引的机制，美国恐怕没有一所大学会在你本科的时候教这玩艺儿。科学引文索引的机制，就是谁的论文被引用次数多，谁就被认为是权威，论文就是好论文。这个思路移植到网上就是谁的网页被链接次数多，那个网页就被认为是质量高，人气旺。在加上相应的链接文字分析，就可以用在搜索结果的排序上了。这就引出了搜索引擎的第二定律：人气质量定律。根据这一定律，搜索结果的相关性排序，并不完全依赖于词频统计，而是更多地依赖于超链分析。大约在96年底，斯坦福大学计算机系的两位研究生想到了有效的解决方法，他们后来创立了一个叫Google的搜索引擎，Google的网站上至今仍然说他们的这项技术是Patent-pending。超链分析的方法98年以后逐渐被各大搜索引擎所接受，由于链接是网络内容的一个根本特性，这时候的搜索引擎才开始真正利用网络时代的检索技术。世事难料，2000年起网络泡沫迅速破灭，各大搜索引擎要么遭人收购，要么推迟上市，所有使用人气质量定律的搜索引擎公司都未能幸免。那么，搜索引擎的出路到底在哪儿？■第三定律竞价排名定律人气质量定律解决的还是一个技术层面的问题，然而搜索引擎从诞生的那一天起，从来就不是一个纯技术现像，它融合了技术，文化，市场等各个层面的因素。解决搜索引擎公司的生存和发展问题需要搜索引擎的第三定律--竞价排名定律。1998年的时候，没有太多的人拿一家远在硅谷500英里以外，刚刚成立的，叫作GoTo.com（现已更名为Overture）的公司当回事儿。它不过是买了一个搜索引擎的技术服务，然后再向那些网站的拥有者们拍卖他们网站在GoTo检索结果中的排名，谁付的钱多，谁的网站就排在前面，而且付费是根据网民点击该网站的情况来计算的，仅仅在搜索结果中出现并不需要付费。这就是自信心定律的最早实践者！根据这一定律，搜索结果的相关性排序，除了词频统计和超链分析之外，更注重的是竞价拍卖。谁对自己的网站有信心，谁就排在前面。有信心的表现就是愿意为这个排名付钱。需要声明的是，自信心定律也是我自己给这一模式起的名字，以前的文献中并没有人这样总结过。今天，在网络业一片萧条，那斯达克风声鹤唳的时候，GoTo却如日中天，市值高达13亿美金，收入高达雅虎总收入的35%。反观门户网站，有哪一个能从它们的搜索引擎服务中赚出总收入的三分之一呢？究其原因，就是因为GoTo最早实践了搜索引擎的自信心定律。以前的搜索引擎都是靠CPM来收费的，而CPM是从传统广告业借鉴过来的，没有考虑网络媒体即时性，交互性，易竞价的特点，而竞价排名，点击收费则是为网站拥有者直接提供销售线索，而不是传统意义上的广告宣传。自信心定律一改过去搜索引擎靠CPM收钱的尴尬局面，开创了真正属于互联网的收费模式。在中国，百度一直致力于推动搜索引擎市场的培植和发展，现在，我们联合了各大门户网站的搜索引擎，一起通过百度的竞价排名系统来实践搜索引擎的第三定律，为数十万网站的拥有者提供一个展示自信心，吸引潜在客户，发现销售线索的平台。SEO国内现状与国外的比较在整个搜索引擎优化的行业中，中国在2003年才真正涉足SEO研究，起步比较晚。目前整个国内SEO行业鱼目混杂，真正从事SEO研究的企业非常少，而在利益的驱动下，大量一知半解甚至对SEO一无所知的网络公司纷纷涌入，使得整个行业比较混乱。许多不正规的网络公司采用作弊等危害极大的手法欺骗客户（通过作弊可以使网站排名迅速上升，但一旦被发现就会被重罚，直至从搜索引擎消失）；也有部分公司狮子大开口，对客户拍胸脯保证，而最后没有能力让客户的网站排名上去，浪费了客户的金钱、宝贵的时间和精力。目前国内90%以上的所谓SEO公司实际是作弊公司，所以有人说SEO就是作弊，确实代表了国内的大部分状况，规范的SEO公司数量比较少。目前国内专业的SEO公司因数量太少，导致整个市场处在专业SEO公司馈乏而伪SEO公司泛滥的失衡状态。我公司就接到多起被所谓的SEO公司排名做不上去花了不少冤枉钱以及被非正规SEO公司采用作弊手法取得排名后被人举报而遭受重罚，在目前的行业里，非正规seo大行其道，这个现状导致了很多企业深受其害，而且搜索引擎厂商也因此对seo产生了负面看法。而事实上，科学规范的seo却是对搜索引擎是一个人性化的完善。经过规范科学的seo操作执行的网站，是基于用户而又面对搜索引擎的，在网站信息建设和访问结构等方面是具有竞争优势的，站点对于访问者来说易用特性都十分好。早期的搜索引擎是把因特网中的资源服务器的地址收集起来，由其提供的资源的类型不同而分成不同的目录，再一层层地进行分类。人们要找自己想要的信息可按他们的分类一层层进入，就能最后到达目的地，找到自己想要的信息。这其实是最原始的方式，只适用于因特网信息并不多的时候。随着因特网信息按几何式增长，出现了真正意义上的搜索引擎，这些搜索引擎知道网站上每一页的开始，随后搜索因特网上的所有超级链接，把代表超级链接的所有词汇放入一个数据库。这就是现在搜索引擎的原型。随着Yahoo!的出现，搜索引擎的发展也进入了黄金时代，相比以前其性能更加优越。现在的搜索引擎已经不只是单纯的搜索网页的信息了，它们已经变得更加综合化，完美化了。以搜索引擎权威Yahoo!为例，从1995年3月由美籍华裔杨致远等人创办Yahoo!开始，到现在，他们从一个单一的搜索引擎发展到现在有电子商务、新闻信息服务、个人免费电子信箱服务等多种网络服务，充分说明了搜索引擎的发展从单一到综合的过程。搜索引擎按其工作的方式分为两类：一类是分类目录型的检索，把因特网中的资源收集起来，由其提供的资源的类型不同而分成不同的目录，再一层层地进行分类，人们要找自己想要的信息可按他们的分类一层层进入，就能最后到达目的地，找到自己想要的信息；另一类是基于关键词的检索，这种方式用户可以用逻辑组合方式输入各种关键(Keyword)，搜索引擎计算机根据这些关键词寻找用户所需资源的地址，然后根据一定的规则反馈给用户包含此关键字词信息的所有网址和指向这些网址的链接。随着因特网信息按几何式增长，这些搜索引擎利用其内部的一个叫SPIDE（蜘蛛）的程序，自动搜索网站每一页的开始，并把每一页上代表超级链接的所有词汇放入一个数据库，供用户来查询。搜索引擎其实也是一个网站，只不过该网站专门为你提供信息\"检索\"服务，它使用特有的程序把因特网上的所有信息归类以帮助人们在浩如烟海的信息海洋中搜寻到自己所需要的信息。从他们的中文网站（Zunch.cn）来看．在美国尚奇(Zunch．com)公司已经进军中国市场，他们的服务方式和理念跟国内优秀的SEO公司相差无几．主要涉及搜索引擎排名，搜索引擎诊断，网站涉及以一些网站系统的开发。从目前Zunch的高调入华来看，还引进和赞助了2006年3月17日－18日即将在南京召开的搜索引擎战略（SES）大会．这是搜索引擎营削和搜索引擎优化国际上的最高会议首次来到中国．早点时间他们在上海直接参加了AD-TECH展会．Zunch的参与将直接使中国的SEO公司提升一个层次，对于中国的SEO行业甚至整个搜索引擎营销行业具有重大影响．从去年开始，中国的SEO就开始向少数竞争中具有优势的企业倾斜，大量的作坊式SEO和一些垃圾SEO公司的缩减．那么在于Zunch这样拥有国际化背景的SEO公司竞争中，必将诞生出中国人自己的SEO和搜索引擎营销技术品牌公司．中国的SEO企业必须在２００7年取得重大突破，才能具备与国外搜索引擎优化企业的较量．而Zunchi则和其他国外互联网公司进入中国一样，必然要付出一定的代价来适应中国市场．搜索引擎营销是网络营销的重要组成部分之一。企业期望通过营销沟通推广自己的产品与服务，把自己的产品和服务信息传递给更多的潜在客户，并且能及时掌握来自买家的反馈信息，了解他们的需要动向，进而发现更多的潜在买家。在当今网络时代，仅依靠单一的广告形式难以实现上述目标，加之企业受营销费用限制，更直观地将信息快速传递至潜在客户。可是企业怎么让顾客找到这些网站呢？其中一个简单快捷的工具就是搜索引擎。20世纪90年代出现了搜索引擎。依靠其强大的搜索功能，只要客户输入关键词，就能即刻获得网址，就可以点击进入目标网站。搜索引擎的使用已经成为排在电子邮件之后的互联网第二大应用工具。如今，越来越多的企业把搜索引擎当作引导顾客链接公司网页的主要媒体。一、搜索引擎营销含义搜索引擎指自动从英特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。英特网上的信息浩瀚万千，而且毫无秩序，所有的信息如同分散在汪洋上的小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为你绘制了一幅一目了然的信息地图，供你随时查阅。搜索引擎营销（SerchEngineMarketing,简写为SEM），即根据用户使用搜索引擎的方式，利用用户检索信息的机会尽可能多地将营销信息传递给目标用户。它是一种网络营销模式，目的在于推广网站，提高知名度，通过搜索引擎返回的结果，来获得更好的销售或者推广渠道，对网站推广、网络品牌、产品推广、在线销售等具有明显效果。根据网络调研数据显示，排名前10名的网站占据了72%的点击率，排名第10～20之间的网站拥有17.9%，而排名20以后的所有网站只有10%的点击率。二、搜索引擎营销现状从2005年伊始的互联网市场上，无论国内还是全球，最风光、最让人嫉妒的领域只能是搜索。目前，Google的市值已经超过IBM，而百度在纳斯达克成为中国股价最高的互联网公司。此外，新浪、雅虎、搜狐、中国搜索纷纷进入搜索引擎市场。搜索引擎已经成为许多网站在短信、网游之后找到的又一个盈利途径，据统计显示，中国搜索引擎市场规模2005年达12亿元，2006达到16.2亿，2007年将超过33亿。研究发现，搜索引擎营销效果最好的是将广告出现在第一页或使搜索结果尽量靠前，使用搜索引擎进行行业营销应该尽可能地将适当的搜索结果防止在靠前的搜索结果页面上。根据搜索引擎公司iPropect的研究发现，超过80%的使用者使用搜索引擎时，不会看第三页一下的搜索结果，这项研究证实了搜索结果前三页的重要性。毫无疑问，当社会资源出现稀缺时就会出现激烈的竞争，搜索结果前三页有限的容量就成为促使企业争夺这块阵地的动力，从而有了搜索引擎营销策略的探究。那么作为企业应该如何利用搜索引擎为自己创造财富呢？