第四章 计算智能

null人工智能及其应用 (第三版) 研究生用书 蔡自兴人工智能及其应用 (第三版) 研究生用书 蔡自兴第四章 计算智能null 计算智能涉及神经计算、模糊计算、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。4.1 概述4.1 概述 什么是计算智能，它与传统的人工智能有何区别？ 第一个关于计算智能的定义是由贝兹德克(Bezdek)于1992年提出的。他认为，从严格意义上讲，计算智能取决于制造者(manufacturers)提供的数值数据，而不依赖于知识；另一方面，人工智能则应用知识精品(knowledge tidbits)。他认为，人工神经网络应当称为计算神经网络。null 马克斯(Marks)在1993年提到计算智能与人工智能的区别，而贝兹德克则关心模式识别(PR)与生物神经网络(BNN)、人工神经网络(ANN)和计算神经网络(CNN)的关系，以及模式识别与其他智能的关系。忽视ANN与CNN的差别可能导致对模式识别中神经网络模型的混淆、误解、误表示和误用。 贝兹德克对这些相关术语给予一定的符号和简要说明或定义。首先，他给出有趣的ABC： A-Artificial，表示人工的(非生物的)，即人造的 B-Biological,表示物理的+化学的+(??)=生物的 C-Computational，表示数学＋计算机null图4.1 ABC的交互关系图null 图4.1表示ABC及其与神经网络(NN)、模式识别(PR)和智能(I)之间的关系。它是由贝兹德克于1994年提出来的。图4.1的中间部分共有9个节点，表示9个研究领域或学科。A,B,C三者对应于三个不同的系统复杂性级别，其复杂性自左至右及自底向上逐步提高。节点间的距离衡量领域间的差异，如CNN与CPR间的差异要比BNN与BPR间的差异小得多,CI与AI的差异要比AI与BI的差异小得多。图中，符号→意味着“适当的子集”。例如，对于中层有：ANN⊂APR⊂AI，对于右列有：CI⊂AI⊂BI等。在定义时，任何计算系统都是人工系统，但反命 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 不能成立。null表 4.1 ABC及其相关领域的定义 由表4.1可知，计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降至低层而已。中层系统含有知识(精品)，低层系统则没有。 若一个系统只涉及数值(低层)数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：①计算适应性；②计算容错性，③接近人的速度；④误差率与人相近，则该系统就是计算智能系统。 若一个智能计算系统以非数值方式加上知识(精品)值，即成为人工智能系统。4.2 神经计算4.2 神经计算4.2.1人工神经网络研究的进展 人工神经网络研究的先锋麦卡洛克(McCulloch)和皮茨(Pitts)曾于1943年提出一种叫做“似脑机器(mindlike machine)"的思想，这种机器可由基于生物神经元特性的互联模型来制造，这就是神经学网络的概念。他们构造了一个表示大脑基本组成部分的神经元模型，对逻辑操作系统表现出通用性。随着大脑和计算机研究的进展，研究目标已从“似脑机器”变为“学习机器”，为此一直关心神经系统适应律的赫布(Hebb)提出了学习模型。罗森布拉特(Rosenblatt)命名感知器，并 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 了一个引人注目的结构。到20世纪60年代初期，关于学习系统的专用设计 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 有威德罗(Widrow)等人提出的Adaline(adaptive linear element,自适应线性元)以及斯坦巴克(Steinbuch )等人提出的学习矩阵。null 到了20世纪70年代，格罗斯伯格(Grossberg)和科霍恩(Kohonen)对神经网络研究作出重要贡献。以生物学和心理学证据为基础，格罗斯伯格提出几种具有新颖特性的非线性动态系统结构。该系统的网络动力学由一阶微分方程建模，而网络结构为模式聚集算法的自组织神经实现。基于神经元组织自调整各种模式的思想，科霍恩发展了他在自组织映射方面的研究工作。沃博斯(Werbos)在20世纪70年代开发出一种反向传播算法。霍普菲尔德在神经元交互作用的基础上引入一种递归型神经网络，这种网络就是有名的Hopfield网络。在20世纪80年代中叶，作为一种前馈神经网络的学习算法，帕克(Parker)和鲁姆尔哈特(Rumelhart)等人重新发现了反向传播算法。null人工神经网络的特性： (1)并行分布处理。神经网络具有高度的并行结构和并行实现能力，因而具有较好的耐故障能力和较快的总体处理能力。这一特性特别适于实时和动态处理。 (2)非线性映射。神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。这一特性给处理非线性问题带来新的希望。 (3)通过训练进行学习。神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的问题。null(4)适应与集成。神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息融合能力使得它可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理。这些特性特别适于复杂、大规模和多变量系统。 (5)硬件实现。神经网络不仅能够通过软件而且可以借助硬件实现并行处理。近年来，一些超大规模集成电路实现硬件已经问世，而且可以从市场上购买到。这使得神经网络成为具有快速和大规模处理能力的网络。4.2.2 人工神经网络的结构4.2.2 人工神经网络的结构 神经网络的结构是由基本处理单元及其互连方法决定的。 1.神经元及其特性 连接机制结构的基本处理单元与神经生理学类比往往称为神经元。每个构造起网络的神经元模型模拟一个生物神经元，如图4.2所示。该神经元单元由多个输入xi,i=1,2,…,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为null 式中，θj为神经元单元的偏置(阈值)，ωji为连接权系数(对于激发状态， ωji取正值；对于抑制状态，ωji取负值)，n为输入信号数目，yj为神经元输出,t为时间，f(_)为输出变换函数，有时叫做激励函数。输出变换函数往往采用0和1这种二值函数或S形函数，如图4.3所示，这三种函数都是连续和非线性的。一种二值函数可由下式表示：null 如图4.3(a)所示。一种常规的S形函数如图4.3(b)所示，可由下式表示： 常用双曲正切函数(如图4.3(b)所示)来取代常规S形函数，因为S形函数的输出均为正值，而双曲正切函数的输出值可为正或负。双曲正切函数如下式所示：null2.人工神经网络的基本特性和结构 人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其他神经元连接；存在许多(多重)输出连接方法，每种连接方法对应于一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图： (1)对于每个节点i存在一个状态变量Xi； (2)从节点j至节点i，存在一个连接权系数ωji； (3)对于每个节点i，存在一个阈值θi； (4)对于每个节点i，定义一个变换函数fi(xi,ωji,θi)，i≠j;对于最一般的情况，此函数取 形式。null 人工神经网络的结构基本上分为两类，即递归(反馈)网络和前馈网络。 (1)递归网络 在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4所示。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。Hopfield网络Elmman网络和Jordan网络是递归网络中具有代表性的例子。递归网络又叫做反馈网络。 在图4.4中，Vi表示节点的状态,xi为节点的输入(初始)值，Xi’为收敛后的输出值，i=1,2,…,n。null(2)前馈网络 前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图4.5所示。图中，实线指明实际信号流通，虚线表示反向传播。前馈网络的例子有多层感知器(MLP)、学习矢量量化(LVQ)网络、小脑模型连接控制(CMAC)网络和数据处理方法(GMDH)网络等。null 3．人工神经网络的主要学习算法 神经网络主要通过两种学习算法进行训练，即指导式(有师)学习算法和非指导式(无师)学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做是有师学习的一种特例。 (1)有师学习 有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)之间的差来调整神经元间连接的强度或权。因此，有师学习需要有老师或导师来提供期望或目标输出信号。有师学习算法的例子包括△规则、广义△规则或反向传播算法以及LVQ算法等。null(2)无师学习 无师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无师学习算法的例子包括Kohonen算法和Carpenter-Grossberg自适应谐振理论(ART)等。 (3)强化学习 如前所述，强化(增强)学习是有师学习的特例。它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度(质量因数)。强化学习算法的一个例子是遗传算法(GA)。4.2.3人工神经网络的典型模型4.2.3人工神经网络的典型模型(1)自适应谐振理论(ART)。此理论由格罗斯伯格提出，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之处在于过分敏感，当输入有小的变化时，输出变化很大。 (2)双向联想存储器(BAM)。由科斯克(Kosko)开发，是一种单状态互联网络，具有学习能力。BAM的缺点为存储密度较低，且易于振荡。null(3)博尔茨曼(Boltzmann)机(BM)。由欣顿(Hinton)等人提出，建立在Hopfield网络基础上，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。 (4)反向传播(BP)网络。最初由沃博斯开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。BP网络是一种反向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。BP网络的不足是训练时间较长，且容易陷于局部极小。null(5)对流传播网络(CPN)。由赫克特·尼尔森(Hecht-Nielson)提出，是一个通常由5层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。 (6) Hopfield网。由霍普菲尔德提出，是一类不具有学习能力的单层自联想网络。Hopfield网模型由一组可使某个能量函数最小的微分方程组成。其不足在于计算代价较高，而且需要对称连接。 (7)Madaline算法。它是Adaline算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值，使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学习能力，但是输入和输出之间必须满足线性关系。null(8)认知机(neocognitron)。由福岛(Fukushima)提出，是迄今为止结构上最为复杂的多层网络。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且较难选取。 (9)感知器(perceptron)。由罗森布拉特开发，是一组可训练的分类器，为最古老的ANN之一，现已很少使用。 (10)自组织映射网(SOM)。由科霍恩提出，以神经元自行组织以校正各种具体模式的概念为基础。SOM能够形成簇与簇之间的连续映射，起到矢量量化器的作用。4.2.5基于神经网络的知识表示与推理4.2.5基于神经网络的知识表示与推理 1.基于神经网络的知识表示 基于神经网络系统中知识的表示方法与传统人工智能系统中所用的方法(如产生式、框架、语义网络等)完全不同，传统人工智能系统中所用的方法是知识的显式表示，而神经 网络中的知识表示是一种隐式的表示方法。在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。例如，在有些神经网络系统中,知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的，如对图4.10所示的异或逻辑的神经网络来说，其邻接矩阵为null 如果用产生式规则描述，则该网络代表下述4条规则： IF x1＝0 AND x2＝0 THEN y＝0 IF x1＝0 AND x2＝1 THEN y＝1 IF x1＝1 AND x2＝0 THEN y＝1 IF x1＝1 AND x2＝1 THEN y＝0null 医疗诊断的例子。假设系统的诊断模型只有6种症状、2种疾病、3种治疗 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。对网络的训练样本是选择一批合适的病人并从病历中采集如下信息： (1)症状：对每一症状只采集有、无及没有记录这三种信息。 (2)疾病：对每一疾病也只采集有、无及没有记录这三种信息。 (3)治疗方案：对每一治疗方案只采集是否采用这两种信息。 其中，对“有”、“无”、“没有记录”分别用＋1,-1,0表示。这样对每一个病人就可以构成一个训练样本。 null 假设根据症状、疾病及治疗方案间的因果关系以及通过训练样本对网络的训练得到了如图4.11所示的神经网络。其中,x1,x2,…, x6为症状;x7,x8为疾病名；x9,x10,x11为治疗方案；xa,xb,xc是附加层，这是由于学习算法的需要而增加的。在此网络中,x1,x2,…,x6是输入层;x9 , x10 ,x11是输出层；两者之间以疾病名作为中间层。 (1)这是一个带有正负权值ωij的前向网络，由ωij可构成相应的学习矩阵。当i≥j时, ωij =0；当iUi时，未知部分将不会影响xi的判别符号，从而可以根据Ii的值来使用特性函数： 由上例可以看出网络推理的大致过程。一般来说，正向网络推理的步骤如下： (1)把已知数据输入网络输入层的各个节点。 (2)利用特性函数分别计算网络中各层的输出。计算中，前一层的输出作为后一层有关节点的输入，逐层进行计算，直至计算出输出层的输出值为止。 (3)用闭值函数对输出层的输出进行判定，从而得到输出结果。null 上述推理具有如下特征： (1)同一层的处理单元(神经元)是完全并行的，但层间的信息传递是串行的。由于层中处理单元的数目要比网络的层数多得多，因此它是一种并行推理。 (2)在网络推理中不会出现传统人工智能系统中推理的冲突问题。 (3)网络推理只与输入及网络自身的参数有关，而这些参数又是通过使用学习算法、对网络进行训练得到的，因此它是一种自适应推理。 以上仅讨论了基于神经网络的正向推理。也可实现神经网络的逆向及双向推理，它们要比正向推理复杂一些。4.3 模糊计算4.3 模糊计算 扎德(Zadeh)于1965年提出的模糊集合成为处理现实世界各类物体的方法。此后，对模糊集合和模糊信号处理理论的研究和实际应用得到广泛开展。模糊控制和模糊决策支持系统就是两个突出的研究与应用领域。 模糊逻辑推理是建立在模糊逻辑基础上的，它是一种不确定性推理方法，是在二值逻辑三段论基础上发展起来的。这种推理方法以模糊判断为前提，动用模糊语言规则，推导出一个近似的模糊判断结论。已经提出了Zadeh法 , Baldwin法、Tsukamoto法、Yager法和Mizumoto法等方法。null 通过模糊推理得到的结果是一个模糊集合或者隶属函数，但在实际使用中，特别是在模糊逻辑控制中，必须用一个确定的值才能去控制伺服机构。在推理得到的模糊集合中取一个相对最能代表这个模糊集合的单值的过程就称为解模糊或模糊判决(defuzzification)。模糊判决可以采用不同的方法，用不同的方法所得到的结果也是不同的。理论上用重心法比较合理，但是计算比较复杂，因而在实时性要求较高的系统不采用这种方法。最简单的方法是最大隶属度方法，这种方法取所有模糊集合或者隶属函数中隶属度最大的那个值作为输出，但是这种方法未考虑其他隶属度较小的值的影响，代表性不好，所以它往往用于比较简单的系统。介于这两者之间的还有几种平均法：如加权平均法、隶属度限幅(α-cut)元素平均法等。4.4 粗糙集理论4.4 粗糙集理论 粗糙集理论(rough sets，RS)作为一种处理不精确、不确定和不完全数据的新的数学计算理论，能够有效地处理各种不确定信息，并从中发现隐含知识，揭示事物和事件的内在规律。粗糙集是由波兰数学家帕夫拉克(Pawlak)于1982提出的。null 粗糙集理论建立在分类机制的基础上，把分类理解为在特定空间的等价关系，而等价关系构成了对该空间的划分。粗糙集理论把知识理解为对数据的划分，而每一被划分的集合称为概念。粗糙集理论主要是利用已知的知识库，用知识库中的已知知识近似描述不精确或不确定的知识。该理论与其他处理不确定或不精确问题理论的最显著的区别在于，它不需要提供处理该问题所需的数据集合之外的任何先验信息，对问题处理的不确定性描述或处理比较客观。不过，由于这个理论未能包含处理不精确或不确定数据的机制，所以与概率论、模糊数学和证据理论等其他处理不精确或不确定问题的理论有很强的互补性。null 1.粗糙集理论的基本概念 在粗糙集理论中，把知识看做是一种对现实的或抽象的对象进行分类的能力。对于某个领域的知识，使用属性及其值来描述该领域中的对象。各种属性取不同的值，就构成空间物体集合上的一族等价关系。如果两物体同属于某个集合，则称它们之间是不可分辨关系(indiscernibility relation)。不可分辨关系的概念是粗糙集理论的重要基础，它揭示出论域知识的粒状结构。 null 设U为非空有限论域，R为U上的二元等价关系，称R为不可分辨关系，序对A=(U, R)称为近似空间，∀(x,y)∈U×U,若(x,y)∈R,则称对象与在近似空间A中是不可分辨的。U/R是U上由R生成的等价类全体，它构成了U的一个划分。U上划分可以与U上的二元等价关系之间一一对应，U/R中的集合称为基本集或原子集。若将U中的集合称为概念或表示知识，则A=(U, R)称为知识库，原子集表示基本概念或知识模块。任意有限的基本集的并和空集均称为可定义集，否则称为不可定义的。可定义集也称为精确集，它可以在知识库中精确地定义或描述，可以表示已知的知识。可以验证所有可定义集合的全体可构成U上的一个拓扑。null2.粗糙集理论的特点 (1)粗糙集不需要先验知识。模糊集和概率统计方法是处理不确定信息的常用方法，但这些方法需要一些附加信息或先验知识，如模糊隶属函数和概率分布等，而这些信息有时并不容易得到。粗糙集分析方法仅利用数据本身提供的信息，不需要任何先验知识。 (2)粗糙集理论是一个强大的数据分析工具。它能表达和处理不完备信息；能在保留关键信息的前提下对数据进行化简并求得知识的最小表达；能识别并评估数据之间的依赖关系，揭示出概念简单的模式；能从 经验 班主任工作经验交流宣传工作经验交流材料优秀班主任经验交流小学课改经验典型材料房地产总经理管理经验 数据中获得易于证实的规则知识。null(3)粗糙集与模糊集描述了不完备信息的两个方面。即粗糙集以不可分辨关系为基础，侧重分类；模糊集基于元素对集合隶属程度的不同，强调集合本身的含混性。从粗糙集的观点看，粗糙集合不能清晰定义的原因是缺乏足够的论域知识，但可以用一对清晰集合逼近。粗糙集理论和证据理论也有一些相互交叠之处。在实际应用中，粗糙集理论可与模糊集理论及证据理论相互补充。4.5 遗传算法4.5 遗传算法 20世纪60年代以来，如何模仿生物来建立功能强大的算法，进而将它们运用于复杂的优化问题，越来越成为一个研究热点。进化计算(evolutionary computation)正是在这一背景下孕育而生的。进化计算包括遗传算法(genetic algorithm, GA),进化策略(evolution strategy),进化编程( evolutionary programming)和遗传编程(genetic programming)。null 遗传算法是模仿生物遗传学和自然选择机理，通过人工方式构造的一类优化搜索算法，是对生物进化过程进行的一种数学仿真，是进化计算的一种最重要的形式。遗传算法与传统数学模型截然不同，它为那些难以找到传统数学模型的难题找出了一个解决方法。同时，进化计算和遗传算法借鉴了生物科学中的某些知识，从而体现了人工智能这一交叉学科的特点。霍兰德(Holland) 于1975年在他的著作“Adaptation in Natural –and Artificial Systems"中首次提出遗传算法。4.5.1遗传算法的基本机理4.5.1遗传算法的基本机理 1.编码与解码 许多应用问题的结构很复杂，但可以化为简单的位串形式编码来表示。将问题结构变换为位串形式编码表示的过程叫做编码；相反的，将位串形式编码表示变换为原问题结构的过程叫做解码或译码。把位串形式编码表示叫做染色体，有时也叫做个体。 GA的算法过程简述如下。首先，在解空间中取一群点，作为遗传开始的第一代。每个点(基因)用一个二进制数字串表示，其优劣程度用一个目标函数—适应度函数(fitness function)来衡量。null　　　遗传算法最常用的编码方法是二进制编码，其编码方法如下: 假设某一参数的取值范围是[A,B],A