首页 《机器学习入门介绍》PPT课件

《机器学习入门介绍》PPT课件

举报
开通vip

《机器学习入门介绍》PPT课件(Suitableforteachingcoursewareandreports)机器学习入门介绍第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.1机器学习的基本概念7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类7.1.1学习(1)学习是系统改进其性能的过程:西蒙,1980。(2)学习是获取知识的过程。(3)学习是技能的获取。(4)学习是...

《机器学习入门介绍》PPT课件
(Suitableforteachingcoursewareandreports)机器学习入门介绍第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.1机器学习的基本概念7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类7.1.1学习(1)学习是系统改进其性能的过程:西蒙,1980。(2)学习是获取知识的过程。(3)学习是技能的获取。(4)学习是事物规律的发现过程。学习:一个有特定目的的知识获取过程。内在行为:获取知识、积累经验、发现规律。外部表现:改进性能、适应环境、实现系统的自我完善。“学习是系统中的任何改进,这种改进使得系统在重复同样的工作或进行类似的工作时,能完成得更好。”例如“小孩学走路”、“学弹钢琴”等。学习:从感性知识到理性知识的认识过程,从表层知识到深层知识的转换过程。7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类机器学习(MachineLearning):计算机能模拟人的学习行为,自动地通过学习获取知识和技能,不断改善性能,实现自我完善。7.1.2机器学习1)学习机理:对学习机制的研究,即人类获取知识、技能和抽象概念的天赋能力。2)学习方法:在生物学习机理进行简化的基础上,用计算的方法进行再现。3)学习系统:根据特定任务的要求,建立相应的学习系统。7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类机器学习系统的定义学习系统:能够在一定程度上实现机器学习的系统。萨利斯(Saris)的定义(1973年):能够从某个过程或环境的未知特征中学到有关信息,并且能把学到的信息用于未来的估计、分类、决策或控制,以便改进系统的性能。施密斯等的定义(1977年):在与环境相互作用时,能利用过去与环境作用时得到的信息,并提高其性能。7.1机器学习的基本概念7.1.3机器学习系统2.机器学习系统的条件和能力(1)具有适当的学习环境(2)具有一定的学习能力(3)能应用学到的知识求解问题(4)能提高系统的性能7.1.3机器学习系统3.机器学习系统的基本模型7.1.3机器学习系统执行与评价环境学习知识库 学习系统的基本结构7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类7.1.4机器学习的发展神经元模型的研究(20世纪50年代中期)主要研究工作:应用决策理论的方法研制可适应环境的通用学习系统(generalpurposelearningsystem)。1957年,罗森勃拉特(F.Rosenblatt)提出感知器模型。塞缪尔(Samuel)的跳棋程序:分析了约175000副不同棋局后,归纳出了棋类书上推荐的走法,准确率达到48%。1969年,明斯基和佩珀特(Papert)发表了论著《Perceptron》,对神经元模型的研究作出了悲观的论断。7.1.4机器学习的发展2.符号学习的研究(20世纪70年代中期)符号概念获取的学习方法(1970年):模拟人类的概念学习过程,通过分析一些概念的正例和反例构造出这些概念的符号表示。莫斯托夫(D.J.Mostow)的指导式学习。温斯顿(Winston)和卡鲍尼尔(J.G.Carbonell)的类比学习。米切尔(T.M.Mitchell)等人的解释学习。7.1.4机器学习的发展3.连接学习的研究(20世纪80年代)连接学习:一种以非线性大规模并行处理为主流的神经网络研究。1980年,在卡内基-梅隆大学召开了第一届机器学习国际研讨会。1986年,创刊了第一本机器学习杂志《MachineLearning》。7.1机器学习的基本概念7.1.1学习7.1.2机器学习7.1.3机器学习系统7.1.4机器学习的发展7.1.5机器学习的分类7.1.5机器学习的分类1.按学习方法分类(温斯顿,1977):机械式学习、指导式学习、示例学习、类比学习、解释学习等。2.按学习能力分类:监督学习(有教师学习)7.1.5机器学习的分类按学习能力分类:再励学习(强化学习或增强学习)7.1.5机器学习的分类按学习能力分类:非监督学习(无教师学习)3.按推理方式分类:基于演绎的学习(解释学习)。基于归纳的学习(示例学习、发现学习等)。4.按综合属性分类:归纳学习、分析学习、连接学习、遗传式学习等。第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.2机械式学习机械式学习(rotelearning)又称记忆学习,或死记式学习:通过直接记忆或者存储外部环境所提供的信息达到学习的目的,并在以后通过对知识库的检索得到相应的知识直接用来求解问题。机械式学习实质是用存储空间来换取处理时间。7.2机械式学习在给定搜索深度下用估价函数对格局进行评分,通过倒推计算求出上层节点的倒推值,决定当前的最佳走步。下次遇到相同情况,直接利用倒推值决定最佳走步,不需重新计算。塞缪尔的跳棋程序CHECKERS 以A为结点的博弈树QA6A 博弈搜索树2B6C24869123438656496第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.3指导式学习指导式学习(learningbybeingtold)又称嘱咐式学习或教授式学习:由外部环境向系统提供一般性的指示或建议,系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成的知识进行评价,使其不断完善。指导式学习的学习过程:征询指导者的指示或建议、把征询意见转换为可执行的内部形式、加入知识库、评价。7.3指导式学习简单征询:指导者给出一般性的意见,系统将其具体化。复杂征询:系统不仅要求指导者给出一般性的建议,而且还要具体地鉴别知识库中可能存在的问题,并给出修改意见。被动征询:系统只是被动地等待指导者提供意见。主动征询:系统不只是被动地接受指示,而且还能主动地提出询问,把指导者的注意力集中在特定的问题上。1.征询指导者的指示或建议7.3指导式学习学习系统应具有把用约定形式表示的征询意见转化为计算机内部可执行形式的能力,并且能在转化过程中进行语法检查及适当的语义分析。2.把征询意见转换为可执行的内部形式在加入过程中要对知识进行一致性检查,以防止出现矛盾、冗余、环路等问题。3.加入知识库评价方法:对新知识进行经验测试,即执行一些标准例子,然后检查执行情况是否与已知情况一致。4.评价第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.4归纳学习7.4.1归纳推理7.4.2示例学习7.4.3观察与发现学习7.4.1归纳推理归纳推理:应用归纳方法所进行的推理,即从足够多的事例中归纳出一般性的知识。它是一种从个别到一般、从部分到整体的推理。归纳推理的重要特征:归纳出的结论不能绝对保证它的正确性,只能以某种程度相信它为真。例如,由“麻雀会飞”、“鸽子会飞”、“燕子会飞”……归纳出“有翅膀的动物会飞”、“长羽毛的动物会飞”等结论。从个别事例归纳出一般性知识的方法:设:某类事物A中的具体事物。已知都有属性P,并且没有发现反例。当n足够大时,可得出:“A中所有事物都有属性P”。7.4.1归纳推理1.枚举归纳例如,设有如下已知事例:张三是足球运动员,他的体格健壮。李四是足球运动员,他的体格健壮。…………刘六是足球运动员,他的体格健壮。事例足够多时,可归纳出一般性知识:凡是足球运动员,他的体格一定健壮。7.4.1归纳推理1.枚举归纳(0.9)已知两个事物a与b有n个属性相似或相同,即:a具有属性P1,b也具有属性P1。a具有属性P2,b也具有属性P2。…………a具有属性Pn,b也具有属性Pn。且a具有属性Pn+1,则当n足够大时,可归纳出b也具有属性Pn+1。7.4.1归纳推理2.联想归纳设:且则当A与B中有新元素出现时(设A中的a’及B中的b’),若已知a’有属性,就可得出b’有属性,即7.4.1归纳推理3.类比归纳 一般模式:(1)若H为真时,则H→E必为真或以置信度cf1成立。(2)观察到E成立或以置信度cf2成立。(3)则H以某种置信度(cf)成立。7.4.1归纳推理4.逆推理归纳:由结论成立推出前提以某种置信度成立。用公式表示: 则H的置信度:7.4.1归纳推理4.逆推理归纳(续)E→H的置信度cf1’=P(H/E)H→E的置信度cf1=P(E/H)HE®1cf’E2cfHcf7.4.1归纳推理5.消除归纳 消除归纳:通过不断否定原先的假设来得出结论。已知:结论:7.4.1归纳推理演绎推理归纳推理一般→个别个别→一般必然性推理或然性推理(“主观不充分置信”的推理)结论不会超出前提所断定的范围;不能获取新知识。结论适用于更大的范围;可获取新知识。演绎推理与归纳推理的区别7.4归纳学习7.4.1归纳推理7.4.2示例学习7.4.3观察与发现学习7.4.2示例学习示例学习(learningfromexamples,实例学习或从例子中学习):通过从环境中取得若干与某概念有关的例子,经归纳得出一般性概念的一种学习方法。示例学习中,外部环境(教师)提供一组例子(正例和反例),然后从这些特殊知识中归纳出适用于更大范围的一般性知识,它将覆盖所有的正例并排除所有反例。7.4.2示例学习1.示例学习的学习模型示例空间验证搜索解释形成知识知识库图7.7示例学习的学习模型7.4.2示例学习2.形成知识的方法(1)变量代换常量例如,假设有两个关于扑克牌“同花”概念的示例。示例1:示例2:可得到一条一般性的知识:规则1:7.4.2示例学习2.形成知识的方法(2)舍弃条件例如示例:可得到一条一般性的知识:规则1:花色(c1,黑桃)∧点数(c1,7)∧花色(c2,黑桃)∧点数(c2,3)∧花色(c3,黑桃)∧点数(c3,10)∧花色(c4,黑桃)∧点数(c4,5)→同花(c1,c2,c3,c4)7.4.2示例学习2.形成知识的方法(3)增加操作前件析取法例如关于“脸牌”示例:得到知识:7.4.2示例学习2.形成知识的方法(3)增加操作内部析取法:在示例的表示中使用集合与集合间的成员关系来形成知识。例如示例:得到知识:7.4.2示例学习2.形成知识的方法(4)合取变析取例如:“男同学与女同学可以组成一个班”。归纳:“男同学或女同学可以组成一个班”。(5)归结归纳例如:得到:示例1:某天下雨,且自行车在路上出了毛病需修理,所以他上班迟到。示例2:某天没下雨,但交通阻塞,所以他上班迟到。得到:如果自行车在路上出了毛病需修理,或者交通阻塞,则他有可能上班迟到。7.4.2示例学习2.形成知识的方法(6)曲线拟合设在示例空间提供了一批如下形式的示例:(x,y,z)示例1:(1,0,10)示例2:(2,1,18)示例3:(-1,-2,-6)应用曲线拟合法(例如最小二乘法)得到:z=2x+6y+87.4归纳学习7.4.1归纳推理7.4.2示例学习7.4.3观察与发现学习7.4.3观察与发现学习观察与发现学习(learningfromobservinganddiscovery):观察学习:用于对事例进行概念聚类,形成概念描述。发现学习:用于发现规律,产生定律或规则。7.4.3观察与发现学习1.概念聚类(1980年,米卡尔斯基(R.S.Michalski))基本思想:把事例按一定的方式和 准则 租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载 进行分组,如划分为不同的类,不同的层次等,使不同的组代表不同的概念,并且对每一个组进行特征概括,得到一个概念的语义符号描述。7.4.3观察与发现学习1.概念聚类例如事例:喜鹊、麻雀、布谷鸟、乌鸦、鸡、鸭、鹅,…分为两类:鸟={喜鹊,麻雀,布谷鸟,乌鸦,…}家禽={鸡、鸭、鹅,…}得知:“鸟有羽毛、有翅膀、会飞、会叫、野生”。“家禽有羽毛、有翅膀、会飞、会叫、家养”。7.4.3观察与发现学习2.发现学习发现学习:从系统的初始知识、观察事例或经验数据中归纳出规律或规则。——无教师指导的归纳学习经验发现:从经验数据中发现规律和定律。知识发现:指从已观察的事例中发现新的知识。第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.5类比学习7.5.1类比推理7.5.2属性类比学习7.5.3转换类比学习类比学习(learningbyanalogy):通过对相似事物进行比较所进行的一种学习。7.5.1类比推理类比推理:由新情况与记忆中的已知情况在某些方面相似,从而推出它们在其他相关方面也相似。源域S:已经认识的域,包括过去曾经解决过且与当前问题类似的问题以及相关知识;目标域T:当前尚未完全认识的域,是遇到的新问题。类比推理的目的:从源域S中选出与当前问题最近似的问题及其求解方法来求解当前的问题,或者建立起目标域T中已有命题间的联系,形成新知识。7.5.1类比推理类比推理的推理过程:1)回忆与联想:在S中找出与当前情况相似的情况,并按相似度从高到低进行排序。2)选择:选出与当前情况最相似的情况及其有关知识。3)建立对应关系:在S与T的相似情况之间建立相应的映射。4)转换:把S中的有关知识引到T中,建立起求解当前问题的方法或者学习到关于T的新知识。设S1与T1分别表示S与T中的某一情况,且S1与T1相似,再假设S2与S1相关,则由类比推理可推出T中的T2,且T2与S2相似。7.5类比学习7.5.1类比推理7.5.2属性类比学习7.5.3转换类比学习7.5.2属性类比学习属性类比学习:根据两个相似事物的属性实现类比学习的。属性类比学习系统(1979年,温斯顿):源域和目标域都是用框架表示的,分别称为源框架和目标框架。框架的槽用于表示事物的属性。学习过程:把源框架中的某些槽值传递到目标框架的相应槽中去。7.5.2属性类比学习候选槽:其槽值有可能要传递给目标框架的那些槽。选择的方法:(1)选择具有极端槽值的槽,例如“很大”、“很小”……(2)选择已经被确认为“重要槽”的槽(3)选择与源框架相似的框架中不具有的槽(4)选择相似框架中不具有这种槽值的槽(5)选择源框架中的所有槽1.从源框架中选择若干槽作为候选槽7.5.2属性类比学习筛选规则:(1)选择在目标框架中还未填值的槽。(2)选择在目标框架中为典型事例的槽。(3)选择与目标框架有紧密关系的槽,或者与目标框架的槽类似的槽。2.根据目标框架对候选槽进行筛选7.5类比学习7.5.1类比推理7.5.2属性类比学习7.5.3转换类比学习7.5.3转换类比学习在状态空间表示法的知识表示中,“状态”:描述问题在不同时刻的状况;“算符”:描述改变状态的操作。当问题由初始状态变换到目标状态时,所用算符的序列就构成了问题的一个解。如何使问题由初始状态变换到目标状态呢?“手段-目标分析”法(means-endanalysis,MEA),又称为“中间-结局分析”法:纽厄尔等人在通用问题求解程序GPS(generalproblemsolver)中提出的一种问题求解模型。7.5.3转换类比学习“手段-目标分析”法(MEA)求解问题的基本过程:(1)把问题的当前状态与目标状态进行比较,找出差异。(2)根据差异找出一个可减小差异的算符。(3)如果该算符可作用于当前状态,则用该算符把当前状态改变为另一个更接近于目标状态的状态;如果不能,则保留当前状态,并生成一个子问题,再对此子问题应用MEA。(4)当子问题被求解后,恢复保留的状态,继续处理原问题。7.5.3转换类比学习回忆过程:找出新、旧问题间的差别,包括:(1)初始状态的差别。(2)目标状态的差别。(3)路径约束的差别。(4)求解方法可应用度的差别。转换过程:把旧问题的求解方法经适当变换使之成为求解新问题的方法,变换中用MEA来减小目标状态与初始状态之间的差异,使初始状态逐步过渡到目标状态,即求出问题的解。转换类比学习:由外部环境获得与类比有关的信息,学习系统找出与新问题相似的旧问题的有关知识,把这些知识进行转换使之适用于新问题,从而获得新的知识。第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.6解释学习解释学习(explanation-basedlearning):由美国Illinois大学的Dejong于1983年提出,属于分析学习,本质为演绎学习方法。它是通过运用相关的领域知识,对当前提供的单个实例的问题求解进行分析,从而构造解释并产生相应知识的。解释学习系统:米切尔(Mitchell)等人研制的LEX和LEAP系统,明顿(S.Minton)等人研制的PRODIGY系统等。7.6解释学习7.6.1解释学习的概念7.6.2解释学习的学习过程7.6.3领域知识的完善性7.6.1解释学习的概念解释学习:通过运用相关的领域知识及一个训练实例来对某一目标概念进行学习,并最终生成这个目标概念的一般性描述。解释学习的一般性描述(米切尔(Mitchell)等,1986):给定:领域知识DT(用于证明训练实例为什么可作为目标概念的实例)目标概念TC(要学习的概念)训练实例TE操作性准则OC(指导系统对描述目标的概念进行取舍)找出:满足OC的关于TC的充分条件。7.6.1解释学习的概念解释学习与示例学习的主要区别:(1)示例学习:输入一组实例。解释学习:输入一个实例。(2)示例学习:归纳学习,不要求提供领域知识。解释学习:演绎学习,要求提供完善的领域知识。(3)示例学习:概念的获取,即知识增加的一面。解释学习:技能提高的一面。7.6.2解释学习的学习过程证明过程:通过运用领域知识进行演绎实现的,证明的结果是得到一个解释结构。1.构造解释解释学习的学习过程:首先运用领域知识找出训练实例为什么是目标概念的证明,即解释,然后按操作性准则对解释进行推广,从而得出关于目标概念的学习描述。例如,学习目标:“一个物体x可以安全地放置在另一个物体y的上面”(堆叠问题)。目标概念:物体(x,y),Safe-to-stack(x,y)7.6.2解释学习的学习过程训练实例(描述物体Obj1和Obj2的事实):领域知识(安全放置准则和计算准则):例如,学习目标:“一个物体x可以安全地放置在另一个物体y的上面”(堆叠问题)。目标概念:物体(x,y),Safe-to-stack(x,y)7.6.2解释学习的学习过程1.构造解释),(21ObjObjStackToSafe--),(21ObjObjLighter)1.0,(1ObjWeight)15,(2ObjWeight)15,1.0(Smaller),(2booktableObjIsa-)1,(1ObjVolume)1.0,(1ObjDensity)1.0,1.0,1(*Safe-To-Stack(Obj1,Obj2)的解释结构7.6.2解释学习的学习过程任务:对上一步得到的解释结构进行一般化处理,从而得到关于目标概念的一般性知识。处理的方法:把常量变换为变量,并把某些不重要的信息去掉,只保留那些对以后求解问题所必须的关键性信息。2.获取一般性的知识7.6.2解释学习的学习过程2.获取一般性的知识),(21OOStackToSafe--),(21OOLighter),(11wOWeight)15,(2OWeight)15,(1wSmaller),(2booktableOIsa-),(11vOVolume),(11dODensity),,(*111wdvSafe-To-Stack(O1,O2)一般化解释结构7.6.3领域知识的完善性两种极端情况:(1)构造不出解释原因:系统中缺少某些相关的领域知识,或者领域知识中包含了矛盾等错误。(2)构造出了多种解释原因:领域知识不健全,已有的知识不足以把不同的解释区分开来。第7章机器学习7.1机器学习的基本概念7.2机械式学习7.3指导式学习7.4归纳学习7.5类比学习7.6基于解释的学习7.7学习方法的比较与展望7.7机器学习方法的比较与展望7.7.1各种机器学习方法的比较7.7.2机器学习的展望7.7.1各种机器学习方法的比较以推理能力排列机械式学习,指导式学习,解释学习,类比学习,示例学习,观察与发现学习。适用领域连接学习:模拟人类较低级的神经活动。符号学习:模拟人类的高级思维活动。对领域理论的要求示例学习、观察与发现学习:领域理论要求较少。解释学习:要求提供完善的领域知识。7.7.1各种机器学习方法的比较知识获取角度:示例学习、观察与发现学习:通过学习可以产生新概念描述,可用于专家系统的知识获取。解释学习:学习目标主要是改善系统的效率,而不扩充概念描述的范围。指导式学习:通过与指导者(如领域专家)的交互学习新知识,同时又可帮助指导追踪推理过程,发现其中的错误,找出产生错误的原因,然后由指导者进行修正。7.7机器学习方法的比较与展望7.7.1各种机器学习方法的比较7.7.2机器学习的展望7.7.2机器学习的展望(1)人类学习机制的研究。(2)发展和完善现有的学习方法,并开展新的学习方法的研究。(3)建立实用的学习系统,特别是多种学习方法协同工作的集成化系统的研究。(4)机器学习的结构模型、计算理论、算法和混合学习的有关理论及应用的研究。演讲结速,谢谢观赏!Thankyou. ppt 关于艾滋病ppt课件精益管理ppt下载地图下载ppt可编辑假如ppt教学课件下载triz基础知识ppt 常用编辑图使用方法1.取消组合2.填充颜色3.调整大小选择您要用到的图标单击右键选择“取消组合”右键单击您要使用的图标选择“填充”,选择任意颜色拖动控制框调整大小商务图标元素商务图标元素商务图标元素商务图标元素
本文档为【《机器学习入门介绍》PPT课件】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: ¥18.0 已有0 人下载
最新资料
资料动态
专题动态
个人认证用户
天霞
暂无简介~
格式:ppt
大小:3MB
软件:PowerPoint
页数:0
分类:企业经营
上传时间:2021-10-19
浏览量:56