基于词联接的诗词风格评价技术

基于词联接的诗词风格评价技术 中文信息学报 第 19 卷 第 6 期Vol119 No16 JO URNAL OF C HINESE INFO RMATIO N PROCESSING () 文章编号 :1003 - 0077 200506 - 0098 - 07 Ξ 基于词联接的诗词风格评价技术 1 2 2李良炎,何中市,易 勇 ()11 重庆大学 语言认知及信息处理研究所 ; 21 重庆大学 计算机学院 重庆 400044 摘要 :在当前自然语言处理的研究状况下 ,文学语言处理应当受到足够的重视 。诗词艺术集中体现了文 学语言的形象性 、情感性 、个性等特征 ,是文学语言处理研究很好的切入点 。风格评价是文学语言处理的重要 课题 ,极具挑战性 。本文以诗词语言为具体研究对象 ,以基于词联接的自然语言处理技术为技术背景 ,着重介 绍并验证基于词联接的诗词风格评价技术 。提出了计算方法 ,设计了诗词风格评价问卷调查实验 。结果表 明 ,人的诗词风格评价共性大于个性 ,基于词联接的诗词风格评价技术能够有效地评价诗词风格 。 关键词 :计算机应用 ;中文信息处理 ;文学语言处理 ;诗词风格 ;评价技术 ;词联接 中图分类号 : TP182 文献标识码 :A Poetry Styl istic Analysis Technique Ba sed on Term Connections L I Liang2yan , HE Zhong2shi , YI Yong ( )College of Computer Science , Chongqing University , Chongqing 400044 ,China Abstract :Literary language processing deserves its due attention in the current research atmosphere of Natural Language Pro2 () cessing NLP. Since poetry fully reveals literary language features such as vividness , sensibility and individuality , it is the appropriate start2point in NLP. Stylistic analysis thus contributes as an important task in literary language processing with lots of challenges. This paper looks into the research object , poetic language , strongly recommends and carefully proves poetry stylistic analysis technique based on term connection with supports of NLP technique as the background. Further more , the corresponding algorithm is proposed and questionnaires are applied to evaluate poetry stylistics in surveys. Both theories and experiments confirm us that commonness exceeds individuality concerning poetry stylistic analysis , and therefore poetry stylistic analysis technique based on term connection is valid in evaluating poetry stylistics. Key words :computer application ; Chinese information processing ; literary language processing ; stylistic feature ; analysis technique ; term connection 1 研究背景 (虽然文学语言是自然语言的重要组成部分 ,然而到目前为止 ,自然语言处理 NaturalLan2 ) guage Processing , NLP研究却主要集中在非文学语言角度上 ,一般没有考虑语言的文学特征 , 如形象性 、情感性 、个性等 。一种可预见的危机是 : 在目前状况下开发的任何技术都可能难以 处理文学语言 。NLP 的研究现状是 :语法和词层面相对成熟 、语义和句层面正在攻关 、语用和 篇层面不太乐观 。风格是文学语言个性的集中体现 ,属于篇章语义 ,因此运用目前的技术来处 Ξ 收稿日期 :2004 - 07 - 30 定稿日期 :2004 - 09 - 20 () 基金项目 :国家自然科学基金项目 60173060 () 作者简介 :李良炎 1974 —,男 ,博士 ,主要研究方向为自然语言处理 . 98 理风格其难度可想而知 。 诗词是一种典型的文学语言 。国家自然科学基金项目“计算机辅助文学艺术创作研究 — 1 ,3 () 诗词曲联”60173060以诗词为研究对象 ,运用一种新技术 ———基于词联接的 NLP 技术。 该技术具有一系列面向文学语言的技术特点 。本文以中国古典诗词艺术的杰出代表 ———唐宋 诗词为处理对象着重介绍其风格评价技术 。 2 基于词联接的诗词风格评价目标 本文所研究的诗词风格评价目标是诗词作品的豪放与婉约风格 。豪放与婉约风格是诗词 风格的分类之一 ,是诗词风格评价的重点和难点所在 。 在文学研究领域中关于风格的研究早已汗牛充栋 。在魏 、晋时期“风格”一词就出现了 ,后 来更常用的术语是“体”或“品”。一般认为 “, 风格就是作品的风貌与格调 。风格与作品的内容 直接有关 ,与作品的艺术表现直接有关 ,更是作者的精神面貌 、才质修养 、审美情趣等主观因素 4 在作品中的体现”。 从诗词语言处理角度来看 ,风格的分类更具有操作性 。刘勰《文心雕龙》的《体性》篇把风 格分为“典雅 、远奥 、精约 、显附 、繁缛 、壮丽 、新奇 、轻靡”等八体 。司空图《二十四诗品》对诗的 () 风格进行了更为精细的划分 。近现代比较有代表性的是陈望道提出的四组八种 “: 1组 ——— ( ) 由内容和形式的比例 , 分为简约和繁丰 ; 2组 ———由气象的刚强和柔和 , 分为刚健和柔婉 ; () () 3组 ———由于话里辞藻的多少 ,分为平淡和绚烂 ; 4组 ———由于检点功夫的多少 ,分为谨严 5 和疏放”。四组其实就是四个维度 。由于该分法具有比较严格的量化定义 ,可操作性较强 , 因此适合用于计算机诗词风格评价 。例如第一组就可以通过词量和句长来估计 ,第四组可以 通过语法 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 性检查来估计 。其中第二 、三组美学意义突出而且与语言的体验性相关联 ,因此 既是重点又是难点 。在文学研究领域中关于诗词作品的刚健与柔婉风格有一种更常用的术语 是“豪放”与“婉约”,例如人们常常将诗词作者分为“豪放派”与“婉约派”。本文采用这种更常 用的术语 ,并作为研究目标 。 3 豪放与婉约风格的知识表示模型 无论是人还是计算机 ,要评价诗词的豪放与婉约风格都必须有一定的知识基础 。仅仅通 过词频和句长的统计是无法实现这一目标的 。 知识表示的基本原理是建立知识及其关系的形式化系统 ,以及该系统与具体知识及其关 () 系的映射关系 。风格属于篇章语义 ,根据语言的组合性原则 ,应该通过篇以下层次 段 、句 、词的有关语义的综合来获得 。同样地 ,段依赖于句 ,句依赖于词 。从语义上看 ,词是具有完整语 义的最小语言单位 ,因此立足于词进行风格的知识表示是基本思路 。 词的哪些语义是篇章豪放与婉约风格的语义基础 ? 基于词联接的知识表示技术认为主要是词的意味语义 。豪放作品中主要包含具有强烈意味的词 ,婉约作品中主要包含具有柔和意 味的词 。 词的语义结构包括词的形式语义 、指称语义和体验语义 。词的形式语义包括词的音和形 , 是语言的物质部分 。词的指称语义即词对应的客观事物 ,是语言的理性部分 。词的体验语义 是人对客观事物产生的体验 ,是语言的感性部分 ,包括意味和情感 。其中意味是人对词所指客 观事物的形式产生的体验 ,情感是人对词所指客观事物的内容产生的体验 。 以词“玫瑰”为例 ,音为“méi guī”,形为“玫瑰”,指称语义为“玫瑰花”,意味为“柔和”,情感 为“喜爱”。 事物的形式包括数量 、形体 、色彩 、声音 、味道 、重量 、力量 、节奏 、韵律 、速度 、质感等许多因 素 ,能够给人丰富的意味体验 。一般而言 ,具有数量少 、形体小 、色彩素 、声音柔 、味道淡 、重量 轻 、速度慢等形式特征的事物更容易引起人的柔和意味 ,美学上往往称为“优美”“, 指小巧 、细 6 腻 、柔和的美”;具有数量多 、形体大 、色彩艳 、声音粗 、味道浓 、重量沉 、速度快等形式特征的 6 事物更容易引起人的强烈意味 ,美学上往往称为“壮美”“, 指巨大 、粗犷 、豪放的美”。这是人 们在艺术实践中摸索出的普遍规律 。该规律将人对事物形式的审美体验的质与事物形式的量相联系 ,从而具有很大的理论与实践意义 。作品宏观上的豪放与婉约风格决定于词汇所指事 物微观上形式的量 。试比较 : () 北国风光 ,千里冰封 ,万里雪飘 。1毛泽东《沁园春〃雪》 () 小城风光 ,一里冰封 ,两里雪飘 。2笔者试改 句 1 是豪放派诗人毛泽东的名句 ,句 2 是通过减小个别词汇所指事物的体积或数量而获 得的句子 ,已经具有明显的婉约风格 。 根据事物形式上量的大小确定其柔和或强烈意味主要有两个问题需要解决 : 一是确定参 照点 。量的大小是相对的 ,何为柔和 ? 何为强烈 ? 人的感受尤其具有主观性和不稳定性 。二 是确定意味水平 。同属于优美或壮美的事物随着量的大小不同 ,其柔和或强烈的程度也不同 。 这种程度需要用一种水平反映出来从而相对精确 。 解决这两个问题的办法是采取专家组三分法 ,即成立专家组 ,通过讨论或其它互动方式一 致将词集分为柔和 、中性 、强烈三个子集 ,然后递归地对各个子集进行相应的操作 ,递归的层次 依精确需求而定 。通过这种知识表示方式可以较好地反映人们普遍的审美规律 。基于词联接的知识表示技术中目前确定将词集分为七个不同意味的子集 ,各词集中词的意味用数字来表 示分为 - 3 、- 2 、- 1 、0 、+ 1 、+ 2 、+ 3 七种水平 。另外 ,由于词的意味是相对于词的指称语义而 言的 ,因此多义词的多种指称语义都有其对应的意味语义 。 在具体的语言环境中 ,由于上下文的影响词的指称语义可能发生很大的变化 ,从而导致体 ( 验语义也随之发生变化 。“不”“、非常”“、稍微”等否定副词或程度副词都会使其中心词 被修 ) 饰的词语的语义发生变化 。例如 “: 不 ?大”“、非常 ?雄伟”“、稍微 ?用力”。某些词语对中心 词具有的这种影响能力称为语义价值 。语义价值同样按照专家组三分法来确定 ,分为 0125 、 015 、0175 、1 、1125 、115 、1175 七种水平 。取 1 为不影响体验语义 ,小于 1 为减弱体验语义 ,大于 1 为增强体验语义 。这里的语义价值只反映了词的相互作用 。 意味和语义价值分成七种水平 是根据人的心理操作能力初步提出来的 。一般而言 ,专家 的主观判断在水平太少时精度较差 ,在水平太多时信度较低 。 4 诗词作品豪放与婉约风格的计算方法 诗词作品豪放与婉约风格计算的输入数据基于词联接的语言分析所产生的数据结果 ,这 符合人们“先阅读再评价”的文学欣赏实际 。 词联接是两个语义确定的词按有序关系构成的语言单位 ,不仅包括词的两两搭配 ,也包括 ( ) 词可能建立的各种两两关系 。可以表示三元组 w , R , w, 其中 w 、w为词 , R 为 w 与 wa b a b a b的关系 , 在句子中 w 位置在 w之前 。当 w 修饰 w则 R 为正偏关系 ?且 w 为从属词 , w为 a b a b a b ( ) 中心词 , 如 更 , ?, 上。当 w修饰 w 则 R 为正偏关系 ?且 w 为中心词 , w为从属词 , 如 b a a b () 上 , ?, 楼。作为语言实例的词联接必然具有丰富的语义 , 其中词的意味语义和语义价值是100 豪放与婉约风格计算的重要参数 。设词 w 的意味语义为 I, 词 w的意味语义为 I。在偏正 a a b b ( ) ( 关系词联接 w , ?, w中 , 从属词 w 对中心词 w的语义价值为 E; 在正偏关系词联接 w ,a ba b ab a ) ?, w中 , 从属词 w对中心词 w 的语义价值为 E。具体作品中每个词的意味语义和语义价bb a ba [ 错误 !未定义书签 。] 值都是通过基于词联接的语言分析技术获得的 。 诗词作品是由符合一定音韵 和字数要求的句子构成的 ,因此以句子为单位的语言分析是 基础 。以诗句“更上一层楼”为例 ,基于词联接的句子分析输入字符串“更上一层楼”。输出以 ) () () () (“上”为中心词的句树 ,由 4 个词联接构成 : 更 , ?,上、上 , ?,楼、一 , ?,楼、一 , ?,层。 该句树是基于现有语言知识对句子语义的最优理解 ,给出了句子的最优分词方案 、各词的意味 语义 、各从属词的语义价值等语义信息 。 句子分析主要包括确定分词方案和句子最优树搜索 ( 两个过程 。确定分词方案 语言分析 ) 过程一的任务是根据句子字符串和词库中 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 的歧义切分信息确定可能的分词方案集 。句 () 子最优树搜索 语言分析过程二的任务是根据一个或多个分词方案的词联接库中的合理词联 接知识确定最优的分词方案和句树结构 。 句子最优树搜索的基本过程是 : 输入 分词方案 , 即词序列{ w, i = 1 ,, n} 。 i 步骤 1 在分词方案的一定范围内选择可能的中心词 w及其语义信息 S 。可能的中心 c c 词集合为{ w, k ?1 ,, n} 。其中 S 包括 w的意味语义 I。 k c c c 步骤 2 在 w前后一定的管辖范围内选择可能的从属词 w及其语义信息 S, 从而构造出 c s s ( ) 一个假设为合理的词联接 w, R , w。可能的从属词集合为{ w, k ?1 ,, c - 1} ?{ w, k ?c c s k k + 1 , , n} 。其中 S 中包括了 w的意味语义 I和 w对 w的语义价值 E。 s s s s c sc ( ) 步骤 3 通过与词联接库中已被确定为合理的词联接进行类比分析 , 从而确定 w, R , wc s 的合理性 D。由于词联接库很大 , 因此依靠筛选规则和启发规则选择合理词联接 。由于涉 cs 及到基于词联接的指称语义表示技术 , 这里不能详细阐述 , 关于类比分析的具体方法请见有关 [3 ] 论文。 步骤 4 递归地对 w重复步骤 2 和步骤 3 , 从而获得由假设词联接构成的句树 T和整体s c ( ) 合理性 D?D。c cs 输出 { D, k ?1 ,, n} 的最大值 DM 和对应的最优句树 TM 。 k 基于对词的意味语义与作品豪放与婉约风格关系的认识 , 以及基于词联接的知识表示和 语言分析所产生的数据结果 , 本文提出有关诗词作品豪放与婉约风格计算的几个定义如下 : ( ) 定义 1 词上下文语义价值 ES :词的语义价值 当从属词个数为 0或词的语义价值与其 ( ) 所有从属词的上下文语义价值之积 当从属词个数大于 0。 该定义是递归的 , 因为从属词的语义价值也会影响中心词的语义价值 , 如 :短语“不很好” 中“很”对“好”的语义价值会受到“不”对“很”的语义价值影响 。设词 w 对 w的语义价值为 a b E, w 有从属词{ w, i = 1 ,, n} , w对 w 的上下文语义价值为 ES , w 对 w的上下文语义 ab a i i a i a a b 价值为 ES , 则 :ab n Π E×ES n > 0 ab i ai = 1 ()1 ES = ab En = 0 ab ( ) 定义 2 词上下文意味语义 IS :词的意味语义 当从属词个数为 0或词的意味语义与所有 ( ) 从属词对该词的上下文语义价值之积 当从属词个数大于 0。设词 w 的意味语义为 I, w 有a a a 从属词{ w, i = 1 ,, n} , w对 w 的上下文语义价值为 ES , w 的上下文意味语义为 IS ,则 : i i a i a a a n Π I×ES n > o a i ai = 1 ()2 IS = a n = 0 I a 定义 3 作品意味语义 DI :作品中所有词的上下文意味语义均值 。设诗词作品 D 有词序 列{ w, i = 1 ,, n} , w的上下文意味语义为 I, 诗词作品 D 的意味语义为 DI , 则 : i i i n IS i? i = 1 ()DI = 3 n 定义 4 作品豪放与婉约风格 DI Z :作品意味语义的标准分数 。通过这一定义 ,诗词作品 豪放与婉约风格的计算就转化为作品意味语义计算 。将作品意味语义转化为标准分数 ,可以 使风格值更整齐 、更具有可比性 。设诗词作品 D 的意味语义为 DI , 包含诗词作品 D 的诗词作 σ品集为 DS , DS 的意味均值为 I , DS 的意味标准差为, 诗词作品 D 的意味语义的标准分数为 () DI Z 诗词豪放与婉约风格,则 : DI - I ()4 DI Z = σ 综合语言分析过程和有关计算公式 , 计算诗词作品豪放与婉约风格的算法描述如下 : 输入诗词作品 D D 为句子序列{ S , i = 1 ,, h} , S 为字符序列{ c, j = 1 ,, m} 。 i i ij i ( ), h , k ?1} : 语言分析过程一步骤 1 确定各句的分词方案集{ W, i = 1 , ik 句子 S 的分词方案集中第 k 个分词方案记为 W, 并设 W为词序列{ w, j = 1 ,, n} 。 i ik ik ikj ik ( )步骤 2 各句最优树搜索{ TM, i = 1 ,, h} 语言分析过程二 i 句子 S 的最优树记为 TM , 最优分词方案记为 W′, W′中词的个数为 n′。在此状态下各 i i i i i 词意味语义为{ I, j = 1 ,, n′} 、语义价值为{ E, j = 1 , , n′} ij i ij i ( () ){ ES , j = 1 , , n′} 公式 1计算各词的上下文语义价值步骤 3 ij i ( ( ) ) , n′} 公式 2步骤 4计算各词的上下文意味语义{ IS , j = 1 , i ij ( ( ) ) 步骤 5计算诗词作品意味语义 DI 公式 3 ( ( ) ) 步骤 6计算诗词作品豪放与婉约风格 DI Z 公式 4 输出输出 DI Z 5 基于词联接的诗词风格评价技术实验 实验的基本思路是 :选择诗词作品样本 ,由专家组和计算机分别进行豪放与婉约风格评 价 ,然后将评价结果进行相关分析 。如果专家组内部显著相关则表明专家组的评价是一致的 。 如果计算机与专家组显著相关则表明计算机的评价结果是有效的 。 专家可以分为一般专家和权威专家 。一般专家是在诗词语言方面有一定知识基础 ,能够阅读 、理解 、分析 、评价并具有一定水平 ,其结论主要被自己接受 。权威专家则在诗词语言方面 具有丰富的专业知识 ,具有很高的阅读 、理解 、分析 、评价水平 ,其结论被大数人接受 。 计算机与一般专家的对比测试按以下五个步骤进行 : 102 步骤 1 选择一般专家组 :由 38 名大学中文系四 年级 六年级体育公开课教案九年级家长会课件PPT下载六年级家长会PPT课件一年级上册汉语拼音练习题六年级上册道德与法治课件 本科学生构成 。这些学生具有一定 的中国古典诗词艺术基础知识 。 步骤 2 选择诗词作品样本 :55 首唐诗作品 ,共 348 句 。 步骤 3 专家组评价 :印制《诗词作品豪放与婉约风格调查问卷》表 ,由专家组填写 。 要求 专家组各成员独立对 55 首唐诗作品中的每一句进行豪放与婉约风格评价 。其方法 是在 - 3 、- 2 、- 1 、0 、+ 1 、+ 2 、+ 3 七种水平中选择一项 。其中负值表示不同程度的婉约风格 , 零值表示风格不明显 ,正值表示不同程度的豪放风格 。之所以选择以句为单位进行风格评价 ,主要是考虑句子的容量更易于专家组成员掌握 。篇的容量往往很大 ,而且多个句子风格不统 一时专家组成员不好决断 ,从而影响评价结果的信度 。 步骤 4 计算机评价 :由计算机按本文 3 的算法计算诗词作品每一句的豪放与婉约风格 。 ( ) 由于专家组评价以句子为单位 步骤 3,因此计算机也以句子为单位计算 。目前这些计算都 已模块化 ,并集成到诗词语言处理实验系统中通过测试 。计算机风格评价是以诗词语言处理 实验系统为平台完成的 。 步骤 5 相关分析 :对专家组和计算机的风格评价结果进行相关分析 。 对 55 首唐诗作品共 348 句进行豪放与婉约风格评价 ,获得专家组与计算机对 348 句的豪 放与婉约风格评价数据 ,共计 39 列 348 行 13572 个原始数据 。进行 39 个因素的两两相关分 析 ,获得 741 个相关系数值 ,其取值情况见图 1 。专家组中评价者 A 与计算机的对比情况见图 () 2 。查相关系数临界值表得 r346= 01137 。0101 图 1 所有评价者之间的两两相关系数图 2 有关评价者 A 和有关计算机的两两关系数 () 分析 1 绝大多数评价者 包括计算机之间高度相关 ,相关系数呈正态分布 。741 个相关 系数值中有 733 个值在 0101 水平上显著 。 分析 2 评价者 A 个体差异比较突出 ,是干扰总体相关性的核心因子 。评价者 A 与 33 个 评价者在 0101 水平上显著相关 。 分析 3 计算机与专家组的相关性高 ,且高于评价者 A 与其它专家组成员的相关性 。计 算机与 36 个评价者在 0101 水平上显著相关 。与评价者 A 相比较 ,计算机评价结果分布更平 滑 ,且极大值小于评价者 A 的极大值 、极小值大于评价者 A 的极小值 。表明计算机的评价结果主要反映专家组评价者的共性 ,没有出现计算机与少数评价者相当一致或相当不同两种情 况 。 计算机与权威专家的对比测试按以下三个步骤进行 : 步骤 1 选择权威专家完成的测试集 :由 414 首宋词构成 ,其中 185 首宋词选自《豪放词三 7 8 百首注析》取值设为 1 ,229 首宋词选自《婉约词三百首注析》取值设为 0 。 步骤 2 计算机评价测试 :由计算机按本文 3 的算法计算诗词作品每一篇的豪放与婉约 风格 。由于权威专家组评价作品是以篇为单位 ,因此计算机也以篇为单位计算 。 步骤 3 相关分析 :对权威专家与计算机的评价结果进行相关分析 。 专家组与计算机分别对 414 首宋词作品进行豪放与婉约风格评价 ,共获得 2 列 414 行 828 () 个原始数据 。专家组与计算机的相关系数值为 01495 ,大于 r412= 01126 ,即权威专家与计 0101 算机的评价结果在 0 . 01 水平上显著相关 。 分析 4 计算机和权威专家的对比测试结果表明 ,计算机具有较高水平的豪放与婉约评 价能力 。当然这种能力本质上只是一种分类能力 ,从评价原理和评价结果上看都还远不能和 权威专家的风格评价能力相比 。 基于以上理论分析与实验分析可以得出以下结论 : () 结论 1 人对诗词作品豪放与婉约风格的评价共性大于个性 分析 1。 () 结论 2 人对诗词作品豪放与婉约风格的评价存在个性 分析 2。 结论 3 基于词联接的诗词风格评价技术用于评价诗词作品豪放与婉约风格是有效的(() ) 分析 3 ,分析 4,且主要反映人的评价共性 分析 3。 豪放与婉约风格只是诗词作品风格的一 个维度 。今后将以“简约和繁丰”、“平淡和绚烂”、 “谨严和疏放”等风格维度为目标进行研究 ,从而使基于词联接的风格评价技术具有更强的诗 词风格综合评价能力 。 参考 文 献 : 1 Liangyan Li , Zhongshi He , Yong Yi . Principles And Algorithms of Semantic AnalysisC . In : proceedings of 2003 in 2 ternational conference on machine learning and cybernetics. Xi’an , v3 , 2003. 1613 - 1618. ( ) 2 李良炎 ,何中市 , 易勇 . 基于词联接的语义表示 方 法 与 知 识 库 建 设 J . 重 大 大 学 学 报 自 然 科 学 版, 2004 ,4. () 李良炎 ,何中市 ,易勇 . 基于词联接的语义分析原理及其算法 J . 重大大学学报 自然科学版,2004 ,8.3 4 赵永纪 . 古代诗话精要 M . 天津 :天津古籍出版社 ,1989. 689. 5 陈望道 . 修辞学发凡 M . 上海 :上海教育出版社 ,2001. 264. 6 赵伶俐 ,章新建 . 高校美育 ———美的人生设计与创造 M .重庆 :西南师范大学出版社 ,1995. 57 - 59. 7 刘筑琴 . 豪放词三百首注析 . 西安 :三秦出版社 M ,2003. 林音 . 婉约词三百首注析 . 西安 :三秦出版社 M ,2003.8 104