贝叶斯网络结构学习

第二章贝叶斯网络结构学习 贝叶斯网络是用来 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示变量之间连接概率的图形模型，它提供了一种表示因果信息的方法，长期以来一直被认为是人工智能领域中的一个重要的研究课题。贝叶斯网络综合考虑先验信息和样本数据，充分地利用专家知识和经验，可以进行定性分析和定量分析。将主观和客观有机地结合起来，避免了对数据的过度拟合，又避免了主观因素可能造成的偏见。将变量之间潜在的关联性用简洁的图解模型表达出来，表达的语义直观、清晰，推理的结果和结论可信度强，便十解释和易十理解。经过近20年的发展，贝叶斯网络已经形成相对完整的推理算法和理论体系，目前成为人工智能和专家系统中的一个研究热点。贝叶斯网络由结构和参数两部分组成，因此，构建贝叶斯网络的学习主要也是结构学习和参数学习两部分，本章主要侧重贝叶斯网络结构学习。 2.1贝叶斯网络的基础理论 贝叶斯网络是指基十概率分析和图论的一种不确定性知识的表达和推理的模型，下面介绍一些相关的基本概念及定理、定义。 2.1.1概率论的有关知识 概率论具有坚实的数学理论基础，是人工智能领域中处理不确定性问题的基础理论之一，是目前处理不确定性问题的方法之一。 定义2.1条件概率:设 是两个基本事件，且 ，则称 为事件 发生的条件下事件 发生的条件概率。 定义2.2先验概率:设 , 为样本空间 中的事件， 可根据 以前的数据分析得到，或根据先验知识估计获取，则称 为先验概率。 先验概率是根据历史的资料或主观判断所确定的各种事件发生的概 率，该概率没能经过实验证实，属十检验前的概率。先验概率一般分为两 类，一类是客观先验概率，是指利用过去的历史资料计算得到的概率;另 一类是主观先验概率，是指在无历史资料或者历史资料不全的时候，只凭 借人们的主观经验来判断取得的概率。 定义2.3后验概率:设 ， 为样本空间 中的事件，则事件 发生的情况下， 发生的概率 ，可根据先验概率 和观测信息重 新修正和调整后得到，通常将 称为后验概率。 后验概率一般是指利用贝叶斯 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 ，结合调查等方式获取了新的附加 信息，对先验概率加以修正的更符合实际的概率。即得到信息之后再重新 修正的概率。 定义2.4联合概率:设 为两个事件，且 ，则它们的联合 概率为: 联合概率也叫乘法公式，是指两个任意时间的乘积的概率，或称之为 交事件的概率。 定义2.5全概率公式:如果影响事件 的所有因素 , 满足: = ，并 ,  则必有: 定义2.6贝叶斯概率:贝叶斯概率是观测者对某一事件的发生的相信 程度。观测者根据先验知识和现有的统计数据，用概率的方法来预测未知 事件发生的可能性。贝叶斯概率不同十事件的客观概率，客观概率是在多 次重复实验中事件发生的频率的近似值，而贝叶斯概率则是利用现有的知 识对未知事件的预测。 定义2.7贝叶斯公式:也叫后验概率公式，还叫逆概率公式，其用途 很广。设先验概率为 ，调查所获得的新附加信息为 ，其中 ，则后验概率为: 定义2.8条件独立:对概率模式 和 是 的三个互不相交 的变量子集，如果对 ,都有 ，其 中 >0，称给定 时 和 条件独立，记为 。 条件独立性在某些文献中定义为 ，可以证明两个定 义等价。 对概率模式 ,随机变量之间的依赖关系如图2.1所示。 绝对依赖: 不成立，而且对任意的 , 也不成立。 条件依赖: 成立，但存在 ，使 不成立。 绝对独立: 成立，而且对任意的 , 也成立。 条件独立: 不成立，但存在 ，使 成立。 图2.1变量之间的依赖关系 定义2.9 是样本空间 的属性集。其中， 是 特征属性， 是类属性。 可能是离散变量，也可能是连续变量。 ，和 分 别表示属性 和 的任意取值。 定义2.10 表示离散的概率值， 表示连续的概率密度函数值。 表示样本空间的大小。 2.2.2图论的基础知识 为了对贝叶斯网络有更加清晰的了解，下面给出与图论相关的一些基 本定 定义2.11有向图 :是由结点集 ，边集 表示的二元组 若 表示从结点 到结点 有一条有向边。我们也称节点 和节点 是邻接的或 和 相互为邻居。 也叫做 的父亲节点， 叫做 的孩子 节点。通过父亲和孩子概念的递归定义，同时获得了祖先和后继的两个概 念。没有父亲节点的节点被称为根节点。 定义2.12 :在贝叶斯网络学习当中，连接两个结点的路径不考 虑这条路径中边的方向，称这种路径为 或 。这个定义 对有向图、无向图和混合图都是适用的。 定义2.13 （ ）:也称有向无环图即不包含环 路的有向图。 定义2.14汇聚节点:对十一条邻接路径中的任何一个结点 ，如果有 ，则称 为汇聚节点或碰撞节点( ) 。 2.2.3信息理论 美国数学家 于1948年提出了熵的概念。熵是一种信息度量 工具，它反映了不确定性问题的平均不确定程度，在信息论、人工智能和 数据挖掘领域中有着广泛的应用。 定义2.15信息熵:设信源 为离散随机变量，则用来度量 的不确定 性的信息熵为: 定义2.16联合信息熵:设 为离散随机变量，则用来度量二元随机 变量的不确定性联合信息熵 为: 定义2.17条件信息熵:用来度量在得到随机变量 的信息后，随机变 量 仍然存在的不确定性，条件信息熵 为: 定义2.18互信息:用来描述随机变量 提供的关于 的信息量的大小， 随机变量 之间的互信息为: 由于事物是普遍联系的，对于两个随机变量 和 ，它们之间在某种 程度上也是相互联系的，即它们之间存在统计依赖(或依存)的关系。互信息 到就是用来描述随机变量 提供的关于 的信息量的大小。 定义2.19条件互信息:在已知 的前提下，随机变量 和 之间的 条件互信息定义为: 从条件相互信息可以看出，在给定观测集的条件下，如果 和 一致 性条件独立时，即 = 成立，此时 和 之间的条件互信 息为0。当 小于某个极限值 时，称 和 为边际独立;当 小于某个极限值 时，称 和 为条件独立。 和 之间的条件互信息越 大，则说明在给定观测集的条件下， 和 之间概率依赖性越明显。反映 在贝叶斯网络上，如果 为 的父结点集合，则当 和 之间的条件互信 息较大时，说明 也可能是 的父结点。 2. 2.4 d-seperation 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 定义2.20阻塞:一条路径被结点集 阻塞，是指在路径上存在一个结 点Z满足下面二种情形之一: (1) ，并且路径中有一条有向弧指向 ，另一条有向弧源自 ; (2) ，并目‘路径中有两条有向弧源自 ; (3) 及 的所有后继结点都不在 中，并目‘路径中有两条有向弧指向 。 我们把不被集合 所阻塞的路径称为被集合 开放的开放路径。 定义2.21阻塞集:两个节点 和 间的所有路径都被节点集合 所阻 塞，则称集合 为两个节点间的阻塞集。 定义2.22 d-separation:令 , 和 是一个有向无环图 G中二个不相 交节点的子集，如果在集合 和 中所有节点间的所有路径都被集合 所 阻塞，则称集合 和 被 集合d-s eparation，表示为 也称 为 和 的切割集。否则，称在给定集合 下集合 和 形依     定义2.23最小切割集:能够将两个变量进行d-s eparation的最小条件 变量集合，称为最小切割集。 定义2.24 I-map假设 是以随机变量 为节点的一个有向 无环图， 是随机变量 的联合概率函数，如果从图 中得到的每 一个独立性假设( 在给定其父母节点变量的情况下独立十它的非后代节点) 在联合概率 的计算中都成立，则称 是该概率分布 的一个独立映射 (Independence-map, I-map)。 如果删除任何一条弧 都不是I-map，称 为 的最小I-map o 2. 3贝叶斯网络的表示与构成 贝叶斯网络是一种基十有向无环图 (DACE Directed Acyclic Graph)的Ixl 模型，编码了一组变量的条件概率关系，是人工智能领域中较流行的不确 定性知识表示的方法。 2. 3. 1贝叶斯网络定义 贝叶斯网络是一种基十概率推理的有向无环l冬l的模型，可以将具体问 题中复杂的变量关系在一个网络结构表示，通过网络模型反映问题领域中 变量的依赖关系，适用十不确定性知识的表达和推理。 定义2. 25贝叶斯网络:一个贝叶斯网络是一个有向无环l冬l，由代表变 量结点及连接这些结点的有向边构成。其中每个节点都标注了定量概率信 息。表示为 ，(其中 是一个能表示变量域的DAG, 是相应的 一组条件概率集合)。 设有随机变量集合 (包含n有限个变量)， 表示有向无环图, 表示 有向边的集合， 表示条件概率分布集，则用数学符号表示一个贝叶斯网络 模型如下: 其中: 2. 3. 2贝叶斯网络构成 一个贝叶斯网络主要由两部分构成，分别对应问题领域的定性描述和定 量描述，即贝叶斯网络结构和网络参数。 1.贝叶斯网络结构 贝叶斯网络结构即就是一个有向无环l冬}(DAG)，由一个结点集合和一个 有向边集合组成。结点集中的每个结点代表一个随机变量，变量可以是任何 问题的抽象，用来代表感兴趣的现象、部件、状态或属性等，具有一定的物 理和实际意义。有向边表示变量之间的依赖或因果关系，有向边的箭头代表 因果关系影响的方向性(由父结点指向子结点)，结点之间若无连接边表示结 点所对应的变量之间是条件独立的。指向结点X的所有结点称为 的父结点。 尽管从结点对旨向结点 的有向边频繁地被用来表示 引起了 ，但在贝叶斯 网络里这不是对有向边的唯一解释。例如， 可能只与 有关联，但是它不 是由 引起的。因此虽然贝叶斯网络能表示因果关系，但它们并不局限十表 示因果关系。 2.网络参数 贝叶斯网络的另一部分是反映变量之间关联性的局部概率分布集即网 络参数(概率参数)，通常称之为条件概率表(Conditional Probability Table, CPT)，该表列出了每个结点相对十其父结点所有可能的条件概率。贝 叶斯网络约定以结点X的父结点为条件， 与任意非 ,子结点条件独立。概 率值表示子结点与其父结点之间的关联强度或置信度，没有父结点的结点概 率为其先验概率。贝叶斯网络结构是将数据实例抽象化的结果，是对问题领 域的一种宏观描述。Ifu概率参数是对变量(结点)之间关联强度的精确表达， 属十定量描述的部分。 贝叶斯网络在有联系的结点之间建立连接弧，则有n个结点的贝叶斯网 络联合概率分布为: 其中 ，为结点 的父结点集合。 3.构建贝叶斯网络 构建贝叶斯网络包括以下二部分内容: (1)变量的定义; (2)结构学习; (3)参数学习。 这二个任务之间一般是顺序进行的，然}fu在构造过程中一般需要在以下 两个方面作折中:一方面为了达到足够的精度，需要构建一个足够大的、丰 富的网络模型;另一方面，要考虑构建、维护模型的费用和考虑概率推理的 复杂性。一般来讲，复杂的模型结构它的概率推理的复杂性也较高，Ifu这往 往是影响贝叶斯网络效率的一个重要方面。实际上建立一个贝叶斯网络往往 是上述二个过程迭代地、反复地交互过程。 第一个任务主要是在领域专家的指导下选取适肩{的研究问题领域的变 量，同时在有些情况下也需要一定的策略从专家提供的变量中选择重要的因 子。第二、二个任务是构建贝叶斯网络的关键点也是难点所在，主要是构建 出一个有向无环图并给出图中每个结点的分布参数，即每个节点都对应一个 条件概率分布表(CPT)。 一般情况下，有二种不同方式来构造贝叶斯网络。 (1)完整学习。这种方式完全由人主观定义贝叶斯网络结构及参数，由 领域专家确定贝叶斯网中的变量，通过专家的知识来确定贝叶斯网络的结 构，并指定它的分布参数。这种方式构造的贝叶斯网完全在专家的指导下进 行，由十人类获得知识的有限性，导致构建的网络与实践中积累下的数据具 有很大的偏差。 (2)部分学习。这种方式由人主观定义贝叶斯网络中的结点变量，然后 通过大量的训练数据来学习贝叶斯网的结构和参数。这种方式完全是一种数 据驱动的方法，具有很强的适应性。ifu b.随着人工智能、数据挖掘和机器学 习的不断发展，使得这种方法成为可能。如何从数据中学习贝叶斯网的结构 和参数己经成为贝叶斯网络研究的热点之一。 (3)第二种方式是以上两种方式的结合。由领域专家确定贝叶斯网络中 的结点变量，通过专家的知识来指定网络的结构，再通过机器学习的方法从 数据中学习网络的参数。 4.贝叶斯网络实例 下面介绍一个警报网络的贝叶斯网络模 ，如图2. 2所示。 在该模型中假设所涉及的问题领域包含5个变量，分别表示为:地震 (Earthquake, E)、发生盗窃(Burglary, B)、广播((Radio, R)、报警(Alarm, A)和呼叫((Call, C)。每个变量分别具有两种取值:1和0，分别代表是和否两 种状态。 在该网络中，包含5个节点、4条有向边和5个条件概率表，各种因果关 系和概率语义都包含在该网络模型中。如警报发生(A)可能是由十地震的原 因(E)或者发生盗窃的原因(B)引起，发生警报(A)将会导致呼叫(C)的产生。 在概率分布集中，每个节点(变量)对应一个条件概率表，例如，变量E取值 为0时，其概率 为0.995，反之，其概率参数为0. 005; ,习表示已知 B和E的条件下，A发生的概率。例如，变量B取值为1、变量E取值为0的条件 下，变量A取值为1即发生等报的概率为0. 8。网络中的节点B和E没有父节点， 即B和IE的发生不受任何变量的影响，其局部条件概率为先验概率。节点B和 节点E相互独立，即一个事件的发生不会影响另一事件发生的概率，即有: 侧。在给定节点E的情况下，R条件独立于B,即存在: 。同样，在给定B和E的情况下，A条件独立十R，则有: ;在给定A的情况下，C条件独立于E, B和R,即存在: 。依据链规则及其网络模型中的条件独立性，得到该警报网络的联合 概率为: P阴B,R,A,日=P(E)P(B)P阴一E)P似一E,习P阿一刃 P(E) eo 0.995 ~、}P(B)}bo}b, 。少卜0.99  0.01 P(R一E) ro 0.9999 ┌─────┬───┬───┐ │P似一B,习 │ao    │al    │ ├─────┼───┼───┤ │bo,eo    │0.998 │0.002 │ ├─────┼───┼───┤ │bo,e1    │0.7  │0.3  │ ├─────┼───┼───┤ │b1,eo    │0.2  │0.8  │ ├─────┼───┼───┤ │b1,e1    │0.05  │0.95  │ └─────┴───┴───┘ 俞一el P(CIA) co 0.95 c1 0.05 0.7 街一al 图2.2警报网络模型 2. 4贝叶斯网络结构学习 贝叶斯网络学习根据学习的对象，分为完整学习和部分学习，前者指在 给定问题领域和数据实例的条件下，学习出结构模型和参数的完整网络;后 者指给定先验的部分网络结构或参数，通过数据实例进行学习修正，得到更 准确的贝叶斯网络。根据样本数据的完备性，分为不完备数据的学习和完备 数据的学习;根据学习方法分为贝叶斯方法学习、MDL方法学习等。 贝叶斯网络由结构和参数两部分组成，因此，贝叶斯网络的学习主要也 是结构学习和参数学习。贝叶斯网络学习就是要寻找一种网络，能够按照某 种测度最好地与给定实例数据集拟合，即寻找一个有向无环l冬}的结构和一个 与有向无环降}中每个结点相关的条件概率表(CPT)。寻找有向无环降}称为网 络结构学习，获取条件概率表称为网络参数学习。由十通过网络结构与数据 集可以确定参数，因此网络结构学习是贝叶斯网络学习的核心，有效的结构 学习方法和算法是构建最优网络结构的基础。本章的侧重点是结构学习。 2. 4. 1贝叶斯网络结构学习的内容 贝叶斯网络结构学习主要包括变量的发现及定义、结构学习和参数学习 二部分。变量的发现及定义主要标识变量及其可能取值，结构学习和参数学 习主要是融合先验知识、确定变量间的依赖关系，下面分别加以陈述。 1.变量的发现及定义 通常我们在研究结构学习时，就已经定义了随机变量。然Ifu，在许多实 际应用领域中，确定变量是比较困难的，因为变量是贝叶斯网络中的最基本 兀素，换句话说确定了兀素就相当十成功了的路第一步是正确的。定义变量 之后，需要定义其构成，包括变量所有可能存在的状态或权值。如果变量是 连续的，则需要确定其边界;当现有的推理算法只能处理离散变量时，需要 连续变量离散化的处理。如果是离散的，需要确定离散状态的数量，以及每 种状态的符号与意义。 2.融合先验知识 在贝叶斯网络结构学习中，融合先验知识是一个非常重要的部分。先验 知识需要在以下几种形式中加以考虑和利用。(1)变量:变量的子集可以确 定，但剩余的变量还不能确定。确定的变量与一个子集或全集相对应，Ifu可 能无法确定有多少其他的变量没有确定。(2)变量构成:变量构成的状态可能 己经完全或部分定义。(3)结构:可能存在一个全部有向连接的子集，或者所 有无向连接的全集或子集。这些先验知识的融合可以有效地减少结构学习的 自目性，同时避免网络结构与数据的过度拟合。 3.确定变量之间的依赖关系 确定变量之间的依赖关系(或因果关系)就是确定变量之间的连接弧的 方向，网络结构S为有向边的集合，表示为: (其中v是结合集点)  其中对于每个有向连接 为 的父结点。同时，使用 末表示 与)之间的无向连接。对十有向连接的结构S,所对应的无向连接集称为无向 结构，用S’表示。通过贝叶斯网络结构学习，可以发现数据集中状态、事件 或属性等实体之间内在的特征与关系，并将这些关系通过有向无环图直观清 晰地给予表达。实际上，结构学习是一个构建模型的过程，它的目标就是将 给定数据中的依赖和因果关系，用一个图形化的模型表达出来。 2. 4. 2贝叶斯网络结构学习的方法 贝叶斯网络结构学习方法大致分为两类，一类是基十打分一搜索的学习 方法;另一类是基十依赖分析的学习方法。基十以上两种学习方法，也有学 者将以上两种方法结合提出了混合结构学习方法。 1.基十打分一搜索的学习方法 基十打分一搜索的贝叶斯网络结构学习方法需要选择一个结构打分函数 和!一种结构空间搜索策略。由十贝叶斯网结构是对数据库中属性变量联合概 率分布的一种编码，所以最好的网络结构就是与样本数据匹配程度最高的网 络结构。因此可以定义一个评分函数来对每一种可能的网络结构与观察到的 数据进行匹配程度检查，借助十该函数在候选的结构空间中进行启发搜索， 得到评分最佳的结构，该结构即被认为是与数据拟合最佳的结构。常用的结 构打分函数有贝叶斯打分函数【80]、最小描述长度(Minimum Description Length, MDL)打分函数[8y}8a珠I I炳打分函数[8s]等。 利用贝叶斯打分函数学习的目的就是发现评分最大的结构，Ifu利用MDL 和基十炳的打分函数学习的目的则是发现评分最小的结构。由十贝叶斯评分 最大的网络结构和MDL(或炳)最小的网络结构是等价的，所以尽管搜索过程 不同，但目标确是一致的。基十打分学习算法的伪代码如下:(假设变量是 有序的)。 基十打分学习算法的伪代码: (1)X={一组有序变量集合}; (2)一个数据集合D= f Y}}…，Y}; ( 3) Bk=Bo ;//Bk为最佳贝叶斯网络结构，B}为初始贝叶斯网络结构 (4) Score(BS’D’一买Score(Y.’几(Y,.),D)l/一个可分解的评分度量 (5)for  (k  1; Bk收敛;K++)  do begin 基十D和Bk一1，改变任一结点的结构，得到新的网络结构， 利用评分度量，找最佳的Bk end (6)  return Bk 由十完全结构空间搜索是NP困难问题fs}l，因此一般采用启发式搜索方 法，常采用的启发式搜索方法有爬山搜索法(或贪婪搜索法)，最好优先搜 索法和遗传算法等。 2.基十依赖分析的学习方法 在基十信息论的依赖分析方法以Cheng-jie的二阶段算法[}}8]最具代表 性，这是一种基十定量互信息检验的网络结构学习算法，结点C放入条件集 中会减少A,  B结点间的互信息量，Ifu将碰撞(Collider)结点D放入则会增加 A,  B间的互信息量通过这样的启发式评价函数来找到对应结点间的割集，进 Ifu确定结点间是否存在边，即算法的第一阶段计算任意两个结点间的互信 息，当互信息大十某个阀值时说明两个结点间有弧存在，第二阶段根据C工检 测判断是否需要}句图中添加新的弧，进行必要弧的添加，第二阶段仍根据C工 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 判断是否需要删减不必要的弧，最后进行定向。cheng-jie提出的这种 基十互信息的独立性检验构建算法表现出非常好的效果，但这种学习方法， 使用依赖分离标准进行条件独立性检验和碰撞识别确定方I句，由十冗余边的 处理是在边定向之前进行，需要进行大量的高维条件概率计算，这样在一定 程度上降低了学习效率和准确，同时碰撞识别方法也有一定的局限性。 将信息学理论引入到贝叶斯网络的学习过程中是一种十分有效的方法， 国内的土双成等也建立了使用信息论的依赖分析方法，并取得了具有较好的 时间复杂度算法[[85] 3.混合结构学习方法 Singh and Valtorta}4'}}吉合打分一搜索和依赖分析建立了一种混合算法， 这种算法不需要结点的顺序，在贝叶斯网络结构学习中，使用改进的K2算法 确定结点的顺序，然后使用依赖分析方法建立贝叶斯网络结构。在使用3000 个例子的测试中，丢失2条边，增加2条边，2条边错误定向。 2. 4. 3贝叶斯网络模型的推理 贝叶斯网又叫概率信念网(Bayesian Belief Network),概率推理是它要 解决的最主要的任务，主要是计算某一事件发生的概率。在给定一个贝叶斯 网络的模型的情况下，根据已知条件，利用贝叶斯概率中的条件概率的计算 方法，计算出所感兴趣的查询结点发生的概率。在贝叶斯网络推理中主要包 括以下几种推理方式: 1.因果推理。由原因推出结论，也称自顶向下的推理f8}1。已知原因(证 据)，利用贝叶斯网络的推理计算，求出在该原因的情况下结果发生的概率。 2.诊断推理。由结论推出原因，也称自下向上的推理。目的是在已知结 果时，找出产生该结果的原因。已知发生了某些结果，根据贝叶斯网络推理 计算，得到造成该结果发生的原因和发生的概率。该推理常用在病理诊断、 故障诊断中，目的是找到疾病发生、故障发生的原因。 3.支持推 。提供解释以支持所发生的现象。目的是对原因之间的相 互影响进行分析。 2.4.4贝叶斯网络学习算法的准确性评价方法 人们总希一望构建一个最优的贝叶斯网络，为此在贝叶斯网络构建算法方 面投入了大量的精力，目前已经有很多的有关贝叶斯网络构建的学习算法， 那么如何评价贝叶斯网络学习算法的准确性就成为贝叶斯网络构建的一个 关键问题，现有的评价方法主要有如下二种: 1.利用已知的贝叶斯网络结构和概率分布表生成用十评价其他算法的 模拟数据集，利用待评价的算法建立一个新的贝叶斯网络结构，将新的贝叶 斯网络结构和已知的贝叶斯网络结构(旧的)进行对比。分别在增加边、丢 失边和边的方向这几方面进行对比，通过比较的结果来评价新的算法的准确 性。这种方法是通过已知来评价未知，但是缺点是必须事先有一个已知的贝 叶斯网络，否则无法评价新的算法。 2.另一种被广泛使用的方法是利用对数似然函数来评价网络结构对数 据的拟合程 ，但这种方法只适用十两种算法的比较，也无法对使用一种 算法学习得到的贝叶斯网络结构直接进行评价。 3.最后一种评价方法是利用Bootstrap方法}s}}}}o}进行评价。这种评价方 法的思想是生成一个标准贝叶斯网络，用此网络作为基准来评价其他的贝叶 斯网络。这种方法分为两种情况:一种是通过多次Bootstrap抽样得到一定 数量的数据集，利用抽样得到的这些数据集依次进行贝叶斯网络学习，对学 习得到的贝叶斯网络进行边的存在性和方向选择进行判断，在无环性的假设 下可以得到一个贝叶斯网络，这个贝叶斯网络就是评价其他贝叶斯网络的标 准贝叶斯网络。另一种是根据已知数据集进行贝叶斯网络学习，然后使用经 过学习得到的贝叶斯网络生成模拟数据集，再根据模拟数据集进行学习得到 新的贝叶斯网络，生成新的模拟数据集，这样将产生给定数量的贝叶斯网络 结构，利用这些网络通过上面的方法可得到一个合成的贝叶斯网络，把这个 合成的贝叶斯网络作为标准网络进行比较评价。Bootstrap方法适合十各种 情况。但通过Bootstrap方法得到的贝叶斯网络结构的标准性目前还无法保 证，还存在一些理论问题需要进一步研究。 2.5基于预测能力的连续贝叶斯网络结构学习 在贝叶斯网络学习中，第一步是定义变量，变量分为离散型和连续型两 种，比较而言，离散型变量的处理比连续型变量的处理要简单一些。因此， 具有连续变量的混合贝叶斯网络结构学习比较困难，而在实际的应用领域 中，连续变量又是普遍存在的，因此能否有效地处理连续变量是贝叶斯网络 能否广泛地用十解决实际问题的一个关键。在混合贝叶斯网络结构学习中， 对连续变量的处理有两种常用的方法，一种方法是假设连续变量服从某种分 (一般是正态分布)，使用基十近似的打分一搜索方法进行结构学习， 这种方法具有较强的限制，因此其应用具有局限性。另一种方法是通过将连 续变量进行离散化处 ，将混合变量的贝叶斯网络结构学习转化为离散 变量的结构学习问题。 连续贝叶斯网络结构学习，一直采用把连续变量离散化，转化为离散贝 叶斯网络结构学习的方法。连续变量的离散化是一个抽象与概括的过程，把 连续数据分成若干个组，每一个组被认为是一个知识颗粒，这种方法适合十 一般情况。连续变量的离散化会造成过多的信息丢失，还可能出现假依赖， 而且，不同的离散化方法可能导致不同的贝叶斯网络结构。针对这些问题， 本章下面给出了基于变量之间预测能力的连续贝叶斯网络结构学习方法，该 方法采用中心邻域覆盖技术，不需要离散化连续变量、变量排序及联合正态 分布或混合正态分布的假设，适合十一般连续贝叶斯网络结构学习，能够充 分挖掘数据中所蕴涵的变量之间的依赖关系建立连续贝叶斯网络结构。 2. 5. 1变量之间的预测能力 设有连续随机变量 ， 为随机变量的取值， 是大小为 的样本数据集。 1.预测能力定义 定义2. 26对给定的』，变量Y的每一个旬夕对应一个邻域民(力，则 }n (.T}=()'一△，y+△) 定义2. 27记F(煞令鱿)为变量Y,的自预测能力，则 FO.令助一max傲Y7 )}。 定义2.28记F(呱1 F}Ym,，…，汽令助 ，…，Ym,令Y.)为变量组Ym, } . } Ym对变量Y.的预测能力，则 一丁…丁尸(Yml } . .‘’ Y,  Y, Ym}}:、樱。阮}Y1，…，Y )}dY1 ...dYmr      mi      mr 川 y 定理2.1  F(Ym, ,...,Ym。Y.)一lim决又max m }} lVh=1划3'.,`,1·.3'.) }P(Y.}Ym,- Ym,一yhm,) 证明:F}Ym,，…，呱} Y.) 一五:(:mix)  }PCY IY;1 ,...,Y}. )} }  } or_,..., >_ N(对·)，那么， ，Y介一Y夕>0 y hii一yhYi一。 气一y y一一， 一y ︸…… 一一 ‘11 、.夕 h川 y 一一 Y (vh )护}Yi·S0: }Y}Ym} 一Y m,，…，Ym 3.预测计算 对给定的Y1一:即‘，…，汽一:军‘，在YlE氏1}Y汀‘)，…，呱E氏(:军‘ 约束下，:值构成的集合为淤 ,..., y月，对给定的△;，在}o_ }Y}h' )}..., 80 (y;`} ) 中取数据密度最大的邻域中数据的中数作为y:}}+Y,‘的估计值。 2. 5. 2基于预测能力的连续贝叶斯网络结构的实现 首先根据变量之间的绝对预测能力建立初始贝叶斯网络结构，然后根据 条件预测能力调整初始贝叶斯网络结构，两个步骤都伴随环路检验。 1.建立初始贝叶斯网络结构 分别训一算变量Y,与Y.之间的绝对预测能力，根据给定的选择闽值P初确 定在变量Y与Yi之间弧的存在性及方向，建立初始贝叶斯网络结构。 定义2. 31设气、氏，一汽,Y }Y) Foaoa (Y 1,...,Y},Y分Y) F、  }Y，  .，Y4}4}  mo  .. '  mt分Y) ，m, } i, j;/二1,...,t 根据如下规则确定变量之间弧的存在性及方}句，结合环路检验确定初始 贝叶斯网络结构。 如果爪o.; }Y}令Y}>Raa' 如果R么  , (Y. } Y} ) >0:o:布么 (琴令Y})>P }u， (凡令Y.)>P }u， 选择弧Y}令Y 选择弧Yi令Y. 如果R、(凡令煞)}P初门R} j(煞令凡)}P初，待定。 2.调整初始贝叶斯网络结构 调整初始贝叶斯网络结构包括增加丢失的弧、删除多余的弧及调整弧的 方向这二个基本步骤。根据具体要求，这一过程可反复进行，直到满足条件 为止。 (1)增加丢失的弧 设变量组Y ...,Y ,m}        m,为变量Y.和Y.的最小切割集，那么对给定的闽值 入 ρ，如果 入 →>→>ρ ???? 11 11 1' 1 'mmjimmij RYYYYRYYYY iitjjt ，添加弧 ji Y→Y；如果 入 →>→>ρ ???? ?(,...,,)?(,...,,) 11 11 1' 1 'mmijmmji RYYYYRYYYY jjtiit ， 添加弧 ji Y←Y。 (2)删除多余的弧 设变量组 22 1 ,..., t mm YY为变量 i Y和 j Y的最小切割集，那么对给定的阈值 出 ρ，如果 出出 →<ρ∩→<ρ ???? ?(,...,,)?(,...,,) 22 12 2' 1 'mmijmmji RYYYYRYYYY jjtiit ， 删除变量 i Y和 j Y之间的弧。 (3)调整弧的方向 设变量组 33 1 ,..., t mm YY为变量 i Y和 j Y的最小切割集，那么， 如果?(,...,,)?(,...,,) 33 13 3' 1 'mmjimmij RYYYYRYYYY iitjjt →>→ ???? ，定向为弧 ji Y→Y； 如果?(,...,,)?(,...,,) 33 13 3' 1 'mmijmmji RYYYYRYYYY jjtiit →>→ ???? ，定向为弧 ij Y←Y。 3．环路检验 定理2.2在一个有向图中，（1）删除无父结点的结点和无子结点的结点及与 之相连接的弧的子图与原图环路的存在性相同；（2）如果存在一个每一个结 点都至少有一对反向弧（一个入弧，一个出弧），那么，这个有向图必含有 环路，否则，不含有环路。 证明：（1）在环路上的结点至少有一个父结点和一个子结点，因此， 没有父结点的结点和没有子结点的结点不可能是环路上的结点，与之相连接 的弧也不可能构成环路，因此，删除没有父结点的结点和没有子结点的结点 而得到的子图与原图环路的存在性相同；（2）任取一个结点按一个方向走， 由于每一个结点至少有一个父结点和一个子结点，而结点的个数有限，因此， 一直走下去必在某一步出现重复结点，这样就出现了环路。 按上述定理进行环路检验，在一个有向图中，删除没有父结点和没有子 结点的结点及与之相连接的弧，在剩下的子图中重复这一操作，如果存在每 一个结点都既有父结点又有子结点的子图，那么，存在环路，否则，不存在 环路。 2.5.3实验结果分析 设Y1,Y2,…,Y10是具有联合正态分布的连续随机变量，D是大小为N的样本 数据集，实验中取N=200。已知的连续贝叶斯网络结构如图2.3所示，经过 学习得到的连续贝叶斯网络结构如图2.4所示。 图2.3已知连续贝叶斯网络结构 图2.4学习得到的连续贝叶斯网络结构 2.6小结 本章在介绍了贝叶斯网络的相关理论的基础上，对贝叶斯网络的表示与 构成进行了分析讨论。贝叶斯网络学习包括结构学习和参数学习两部分内 Y1 Y3 Y8 Y5 Y6 Y7 Y2 Y10 Y4 Y9 Y1 Y3 Y8 Y5 Y6 Y7 Y2 Y10 Y4 Y9 容，本章主要对结构学习进行了详细的阐述，包括贝叶斯网络结构学习的内 容、学习方法、贝叶斯网络模型的推理、贝叶斯网络学习算法的准确性评价 方法分别进行了描述。在分析了贝叶斯网络结构学习的内容及方法之后，给 出了连续随机变量之间预测能力的概念及计算方法。在此基础上提出了基于 预测能力的连续贝叶斯网络结构学习方法，该方法的具有运算效率及准确率 高，能够有效地避免信息丢失及假依赖的出现，不需要变量的离散化、排序 及联合正态或混合正态分布的假设，能够充分利用数据中所蕴涵的变量之间 的依赖关系等特点。对该方法进一步的工作是关于优化理论与实现方法方面 的研究，以及与离散化方法的对比分析。