关闭

关闭

封号提示

内容

首页 关于中文分词,中文分词和搜索引擎.doc

关于中文分词,中文分词和搜索引擎.doc

关于中文分词,中文分词和搜索引擎.doc

上传者: 595249832 2012-05-03 评分1 评论0 下载8 收藏0 阅读量744 暂无简介 简介 举报

简介:本文档为《关于中文分词,中文分词和搜索引擎doc》,可适用于IT/计算机领域,主题内容包含阅微草堂wwwxhbestorg中文分词介绍中文分词的应用  什么是中文分词  众所周知英文是以词为单位的词和词之间是靠空格隔开而中文是以字为单位句符等。

阅微草堂wwwxhbestorg中文分词介绍中文分词的应用  什么是中文分词  众所周知英文是以词为单位的词和词之间是靠空格隔开而中文是以字为单位句子中所有的字连起来才能描述一个意思。例如英文句子Iamastudent用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词就是中文分词有些人也称为切词。我是一个学生分词的结果是:我是一个学生。  中文分词和搜索引擎中文分词到底对搜索引擎有多大影响对于搜索引擎来说最重要的并不是找到所有结果因为在上百亿的网页中找到所有结果没有太多的意义没有人能看得完最重要的是把最相关的结果排在最前面这也称为相关度排序。中文分词的准确与否常常直接影响到搜索结果的相关度排序。中文分词的准确度对搜索引擎结果相关性和准确性有相当大的关系。  中文分词技术  中文分词技术属于自然语言处理技术范畴对于一句话人可以通过自己的知识来明白哪些是词哪些不是词但如何让计算机也能理解其处理过程就是分词算法。  现有的分词算法可分为三大类:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。  、基于字符串匹配的分词方法  这种方法又叫做机械分词方法它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配若在词典中找到某个字符串则匹配成功(识别出一个词)。按照扫描方向的不同串匹配分词方法可以分为正向匹配和逆向匹配按照不同长度优先匹配的情况可以分为最大(最长)匹配和最小(最短)匹配按照是否与词性标注过程相结合又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下:  )正向最大匹配法(由左到右的方向)  )逆向最大匹配法(由右到左的方向)  )最少切分(使每一句中切出的词数最小)。  还可以将上述各种方法相互组合例如可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。实际使用的分词系统都是把机械分词作为一种初分手段还需通过利用各种其它的语言信息来进一步提高切分的准确率。 、基于理解的分词方法这种分词方法是通过让计算机模拟人对句子的理解达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。在总控部分的协调下分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息再加上汉语的博大精深和复杂性这种方法的机器可用性不高。、基于统计的分词方法  从形式上看词是稳定的字的组合因此在上下文中相邻的字同时出现的次数越多就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计计算它们的互现信息。定义两个字的互现信息计算两个汉字X、Y的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计不需要切分词典因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性会经常抽出一些共现频度高、但并不是词的常用字组例如“这一”、“之一”、“有的”、“我的”、“许多的”等并且对常用词的识别精度差时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典(常用词词典)进行串匹配分词同时使用统计方法识别一些新的词即将串频统计和串匹配结合起来既发挥匹配分词切分速度快、效率高的特点又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。  到底哪种分词算法的准确度更高目前并无定论。对于任何一个成熟的分词系统来说不可能单独依靠某一种算法来实现都需要综合不同的算法。笔者了解海量科技的分词算法就采用“复方分词法”所谓复方相当于用中药中的复方概念即用不同的药才综合起来去医治疾病同样对于中文词的识别需要多种算法来处理不同的问题。  中文分词的应用  目前在自然语言处理技术中中文处理技术比西文处理技术要落后很大一段距离许多西文的处理方法中文不能直接采用就是因为中文必需有分词这道工序。中文分词是其他中文信息处理的基础搜索引擎只是中文分词的一个应用。其他的比如机器翻译(MT)、语音合成、自动分类、自动摘要、自动校对等等都需要用到分词。因为中文需要分词可能会影响一些研究但同时也为一些企业带来机会因为国外的计算机处理技术要想进入中国市场首先也是要解决中文分词问题。在中文研究方面相比外国人来说中国人有十分明显的优势。分词准确性对搜索引擎来说十分重要但如果分词速度太慢即使准确性再高对于搜索引擎来说也是不可用的因为搜索引擎需要处理数以亿计的网页如果分词耗用的时间过长会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说分词的准确性和速度二者都需要达到很高的要求。中文分词技术要想更好的服务于更多的产品还有很长一段路。中文网站seo与中文分词以上文字描述了一个重点话题那就是中文分词非常复杂。准确性有待提高的空间依然很广阔。搜索引擎的中文分词智商远远达不到互联网的要求。在这种情况下我们seo从业者就必须帮助搜索引擎去更好更快的分词。所以搜索引擎中文分词的原理和方法我们是必须要了解的这样才能够将我们的网站设计得让搜索引擎更容易去分词和索引从而更容易确定它的主题相关性。本文提到了中文分词搜索引擎中文分词以及seoer要了解的中文分词技术和原理提到了很多的知识点但是文章本身并不能教会读者什么东西。对于文中提到的一些东西读者可以好好的思考下将自己提炼出来的东西应用到今后的文字编辑工作中去。什么是中文分词,中文分词与搜索引擎优化seohttp:wwwxhbestorgseozhongwenfencihtml

类似资料

编辑推荐

名山胜概图.pdf

王首道文集(王首道着)文字版.pdf

【文化百科丛书】天体生香(殷伟)扫描版.pdf

[卡斯特桥市长].(The.Mayor.of.Casterbridge).托马斯·哈代.pdf

瞧,这三国人(一个留日博士的中、日、韩三国人文体验记).pdf

职业精品

精彩专题

结婚彩礼真有那么重要吗?

原创于西周而后沿袭至今的彩礼,虽然被一部分家长奉为圭臬,但越来越多的年轻人对结婚必须要彩礼不以为然。彩礼引发的社会矛盾越来越受到关注,结婚是自己的事,如人饮水冷暖自知,至于要不要彩礼或者要多少彩礼,因人而异,因财力而已,不可一概而论。

用户评论

0/200
    暂无评论
上传我的资料

精选资料

热门资料排行换一换

  • 道光宝庆府志(三)-06.pdf

  • 道光宝庆府志(三)-05.pdf

  • 道光宝庆府志(三)-03.pdf

  • 道光宝庆府志(一)-04.pdf

  • 老曹收藏-资产阶级古典政治经济学…

  • 老曹收藏-薛暮桥回忆录.pdf

  • 记忆的真相.pdf

  • 《全脑超能学习宝典》电子书大全.…

  • 金克木《东方文化八题》(北京大学…

  • 资料评价:

    / 3
    所需积分:2 立即下载

    意见
    反馈

    返回
    顶部