山东建筑大学计算机网络课程
设计
领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计
?基于Python的网络爬虫设计?LtDPAGEPAGE1山东建筑大学课程设计成果报告题目：基于Python的网络爬虫设计课程：计算机网络A院〔部〕：管理工程学院专业：信息管理与信息系统班级：学生姓名：学号：指导教师：完成日期：PAGE2
目录
工贸企业有限空间作业目录特种设备作业人员作业种类与目录特种设备作业人员目录1类医疗器械目录高值医用耗材参考目录
TOC\o"1-3"\h\z\uHYPERLINK\l_Toc19841设计目的PAGEREF_Toc19841HYPERLINK\l_Toc211832设计任务内容PAGEREF_Toc211831HYPERLINK\l_Toc313773网络爬虫程序总体设计PAGEREF_Toc313771HYPERLINK\l_Toc30374网络爬虫程序详细设计PAGEREF_Toc30371HYPERLINK\l_Toc51524.1设计环境和目标分析PAGEREF_Toc51521HYPERLINK\l_Toc9134.1.1设计环境PAGEREF_Toc9131HYPERLINK\l_Toc98574.1.2目标分析PAGEREF_Toc98572HYPERLINK\l_Toc30974.2爬虫运行流程分析PAGEREF_Toc30972HYPERLINK\l_Toc188264.3控制模块详细设计PAGEREF_Toc188263HYPERLINK\l_Toc312914.3爬虫模块详细设计PAGEREF_Toc312913HYPERLINK\l_Toc210024.3.1URL管理器设计PAGEREF_Toc210023HYPERLINK\l_Toc193724.3.2网页下载器设计PAGEREF_Toc193723HYPERLINK\l_Toc103074.3.3网页解析器设计PAGEREF_Toc103073HYPERLINK\l_Toc212264.4数据输出器详细设计PAGEREF_Toc212264HYPERLINK\l_Toc168595调试与测试PAGEREF_Toc168594HYPERLINK\l_Toc224745.1调试过程中遇到的问题PAGEREF_Toc224744HYPERLINK\l_Toc80425.2测试数据及结果显示PAGEREF_Toc80425HYPERLINK\l_Toc223196课程设计心得与体会PAGEREF_Toc223195HYPERLINK\l_Toc171837参考文献PAGEREF_Toc171836HYPERLINK\l_Toc184378附录1网络爬虫程序设计代码PAGEREF_Toc184376HYPERLINK\l_Toc61119附录2网络爬虫爬取的数据文档PAGEREF_Toc611191设计目的本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完?计算机网络?课程后进行的一次全面的综合练习。本课程设计的目的和任务：1．稳固和加深学生对计算机网络根本知识的理解和掌握；2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；3．提高学生进行技术总结和撰写
说明
关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书
书的能力。2设计任务内容网络爬虫是从web中发现,下载以及存储内容，是搜索引擎的核心局部。传统爬虫从一个或假设干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。参照开放源码分析网络爬虫实现方法，给出
设计方案
关于薪酬设计方案通用技术作品设计方案停车场设计方案多媒体教室设计方案农贸市场设计方案
，画出设计流程图。选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的根本功能，界面适当美化。给出软件测试结果。3网络爬虫程序总体设计URL管理器数据输出器网页下载器网页解析器爬虫控制器在本爬虫程序中共有三个模块：爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况爬虫模块：包含三个小模块，URL管理器、网页下载器、网页解析器。URL管理器：对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。网页下载器：网页下载器将URL指定的网页下载下来，存储成一个字符串，传递给网页解析器。网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的URL，这些URL被解析出来会补充进URL管理器3、数据输出模块：存储爬取的数据4网络爬虫程序详细设计4.1设计环境和目标分析4.1.1设计环境IDE：pycharm4.1.2目标分析目标：从百度词条Python开始，以广度优先的方式，爬取相关联的假设干词条网页的标题和简介〔1〕初始URL："://baike.baidu/item/Python?sefr=ps"〔2〕词条页面URL格式：数据格式：标题——
Python
简介——〔4〕页面编码：utf-84.2爬虫运行流程分析爬虫程序的运行流程如以下图。爬虫控制器从给定的URL开始，将给定的初始URL添加到URL管理器中，然后调用URL管理器的相关方法，判断是否有待爬取的URLURL判断是否有待爬取的URL，如果有待爬取的URL，那么返回给控制器，控制器将这个URL传递给网页下载器，下载该网页网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析网页解析器解析网页之后获取网页数据和网页的URL链接，再将这两个数据传递给控制器控制器得到解析出来的数据之后，将新的URL链接传递给URL管理器，将价值数据传递给数据输出器输出数据输出器以文本的形式输出传递进来的数据。回到第一步，循环4.3控制模块详细设计爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。比拟简单，可参见附录1查看源码。4.3爬虫模块详细设计4.3.1URL管理器设计URL管理器主要管理待抓取的URL集合和已抓取的URL集合。URL管理器设计的难点在于：防止重复抓取，防止循环抓取。判断是否还有待爬取URL添加新URL到待爬取集合中获取待爬取URLURL管理器将URL从待爬取集合移动端已爬取集合判断待添加URL是否在容器中常用的URL管理器存储方式有三种，一是使用python内存即set集合来存储URL，二是使用数据库，例如MySQL，三是使用缓存数据库，例如redis。因为这只是个简单的python爬虫，所以我们选择利用内存存储URL。建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。4.3.2网页下载器设计网页下载器是将互联网上URL对应的网页下载到本地的工具。Python常用的网页下载器有两种，一个是python自带的urllib2，一个是第三方包requests。这里我们选用的是urllib2，比拟简单的网页下载工具，其中最简洁的下载网页的代码如下：importurllib2response=urllib2.urlopen(url)#如果请求码不是200，那么表示请求不成功。#典型的错误包括404〔页面无法找到〕，403〔请求禁止〕，401〔待验证的请求〕#5XX回应代码以“5〞开头的状态码表示效劳器端发现自己出现错误，不能继续执行请求ifresponse.getcode()!=200:print"downloadhtmlfailed"cont=response.read()4.3.3网页解析器设计网页解析器是从网页中提取有价值数据的工具。价值数据网页解析器新URL列表HTML网页字符串Python常用的解析器有四种，一是正那么表达式，二是html.parser，三是beautifulSoup，四是lxml。这里我选用的是beautifulSoup作为我的网页解析器，相对于正那么表达式来说，使用beautifulSoup来解析网页更为简单。beautifulSoup将网页转化为DOM树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。使用方法如下：#创立BeautifulSoup对象soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')#查找所有标签为a的节点，且href匹配正那么表达式links=soup.find_all('a',href=repile(r"/item/\%"))#查找所欲标签为div的节点summary_node=soup.find('div',class_="lemma-summary")4.4数据输出器详细设计数据输出器是负责数据输出的工具。如果要输出的文件不存在，程序会自动创立，并且每次重写之前都会清空网页的内容。这里我选择的输出方式是TXT文档，直接将数据分析器得到的数据存储在output.txt文件中。5调试与测试5.1调试过程中遇到的问题爬取第一个页面之后没有新的页面解决
方案
气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载
：根据子网页，选择适宜的正那么表达式〔1〕测试过程中某些网页中缺少标题或简介。解决方案：往集合中添加数据的时候，判断一下是否为空，不为空再添加。5.2测试数据及结果显示测试的结果以txt文档形式显示，生成的文档路径和代码路径一致、6课程设计心得与体会Python是一门面向对象的解释性语言〔脚本语言〕，这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向CPU进行翻译，个人理解就是一边编译一边执行。而Java这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进行断点调试，唯一的方法就是在有疑问的地方打印各个变量的值来进行调试。这一类语言也没用类型，也就是说一个变量即可能是int型，但是也可能是String型，而且可以随时变化。 python对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。 Python也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。这样做的好处在于代码编写看上去很统一，不过习惯了java再看python，一开始还真的有点懵。 总得来说，对Python的初涉感觉不错，这门语言相比拟Java更加的简洁，这次的课设是初步接触python，以后会自己深入学习。7参考文献[1]钱程,阳小兰,朱福喜等.基于Python的网络爬虫技术[J].黑龙江科技信息,2022,(36):273.[2]戚利娜,刘建东.基于Python的简单网络爬虫的实现[J].电脑编程技巧与维护,2022,(8):72-73.[3],CorePythonProgramming.2001-9-118附录1网络爬虫程序设计代码spiderMain.py#coding:utf-8importloggingfromwebCralerimporturl_manager,html_downloader,html_outputer,html_parserclassSpiderMain(object):#初始化URL管理器，网页下载器，网页解析器和数据输出器def__init__(self):self.urls=url_manager.UrlManager()self.downloader=html_downloader.HtmlDownloader()self.parser=html_parser.HtmlParser()self.outputer=html_outputer.HtmlOutputer()#爬取网页defcraw(self,url):count=1#向URL管理器添加新的URLself.urls.add_new_url(url)whileself.urls.has_new_url():try:#如果有新的URL，获取这个新的URLnew_url=self.urls.get_new_url()#打印这是第几个爬取的URLprint'craw%d:%s'%(count,new_url)#使用网页下载器下载这个网页的内容html_cont=self.downloader.download(new_url)#使用网页解析器解析这个网页的内容，分别为URL和数据new_urls,new_data=self.parser.parse(new_url,html_cont)#将解析器解析的RL添加到URL管理器self.urls.add_new_urls(new_urls)#将解析器解析的数据传递给数据输器self.outputer.collect_data(new_data)#爬取10个数据后自动结束ifcount==20:breakcount=count+1exceptExceptionase:logging.exception(e)print'crawfailed'#数据输出器将数据使用HTML的方式输出self.outputer.output_html()if__name__=='__main__':print"begin"root_url="://baike.baidu/item/Python?sefr=ps"obj_spider=SpiderMain()obj_spider.craw(root_url)url_manager.py#coding:utf-8classUrlManager(object):def__init__(self):self.new_urls=set()self.old_urls=set()#添加URLdefadd_new_url(self,url):ifurlisNone:returnifurlnotinself.new_urlsandurlnotinself.old_urls:self.new_urls.add(url)defadd_new_urls(self,urls):ifurlsisNoneorlen(urls)==0:returnforurlinurls:self.add_new_url(url)defhas_new_url(self):returnlen(self.new_urls)!=0defget_new_url(self):new_url=self.new_urls.pop()self.old_urls.add(new_url)returnnew_urlhtml_downloader.py#coding:utf-8importurllib2classHtmlDownloader(object):defdownload(self,url):ifurlisNone:returnNoneresponse=urllib2.urlopen(url)#如果请求码不是200，那么表示请求不成功。#典型的错误包括404〔页面无法找到〕，403〔请求禁止〕，401〔待验证的请求〕#5XX回应代码以“5〞开头的状态码表示效劳器端发现自己出现错误，不能继续执行请求ifresponse.getcode()!=200:print"downloadhtmlfailed"returnNonereturnresponse.read()url_parse.py#coding:utf-8importurlparsefrombs4importBeautifulSoupimportreclassHtmlParser(object):defparse(self,page_url,html_cont):ifpage_urlisNoneorhtml_contisNone:returnsoup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')#解析URL列表，获取URLnew_urls=self._get_new_urls(page_url,soup)#解析数据new_data=self._get_new_date(page_url,soup)printnew_datareturnnew_urls,new_datadef_get_new_urls(self,page_url,soup):new_urls=set()#://baike.baidu/item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6#://baike.baidu/item/%E6%BA%90%E4%BB%A3%E7%A0%81/3969links=soup.find_all('a',href=repile(r"/item/\%"))forlinkinlinks:new_url=link['href']#://baike.baidu/item/Python?sefr=psnew_full_url=urlparse.urljoin("://baike.baidu/",new_url)new_urls.add(new_full_url)returnnew_urlsdef_get_new_date(self,page_url,soup):res_data={}#urlres_data['url']=page_url#Python
title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find('h1')res_data['title']=title_node.get_text()#summary_node=soup.find('div',class_="lemma-summary")#这句话有可能出现空！！！res_data['summary']=summary_node.get_text()printres_data['summary']returnres_datahtml_outputer.py#coding:utf-8classHtmlOutputer(object):def__init__(self):#建立列表存放数据self.datas=[]#收集数据defcollect_data(self,data):ifdataisNone:returnself.datas.append(data)#输出数据defoutput_html(self):fout=open('output.txt','w')fordatainself.datas:fout.write(data['url']+"\n")fout.write(data['title'].encode('utf-8'))fout.write(data['summary'].encode('utf-8')+"\n\n")fout.close()9附录2网络爬虫爬取的数据文档://baike.baidu/item/Python?sefr=psPythonPython[1] 〔英国发音：/ˈpaɪθən/美国发音：/ˈpaɪθɑːn/〕,是一种面向对象的解释型计算机程序设计语言，由荷兰人GuidovanRossum于1989年创造，第一个公开发行版发行于1991年。Python是纯粹的自由软件，源代码和解释器CPython遵循GPL(GNUGeneralPublicLicense)协议[2] 。Python语法简洁清晰，特色之一是强制用空白符(whitespace)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块〔尤其是C/C++〕很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型〔有时甚至是程序的最终界面〕，然后对其中[3] 有特别要求的局部，用更适宜的语言改写，比方3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。://baike.baidu/item/%E7%BC%96%E8%AF%91%E5%99%A8编译器简单讲，编译器就是将“一种语言〔通常为高级语言〕〞翻译为“另一种语言〔通常为低级语言〕〞的程序。一个现代编译器的主要工作流程：源代码(sourcecode)→预处理器(preprocessor)→编译器(compiler)→目标代码(objectcode)→链接器(Linker)→可执行程序(executables)高级计算机语言便于人编写，阅读交流，维护。机器语言是计算机能直接解读、运行的。编译器将汇编或高级计算机语言源程序〔Sourceprogram〕作为输入，翻译成目标语言〔Targetlanguage〕机器代码的等价程序。源代码一般为高级语言(High-levellanguage)，如Pascal、C、C++、Java、汉语编程等或汇编语言，而目标那么是机器语言的目标代码〔Objectcode〕，有时也称作机器代码〔Machinecode〕。对于C#、VB等高级语言而言，此时编译器完成的功能是把源码〔SourceCode〕编译成通用中间语言〔MSIL/CIL〕的字节码〔ByteCode〕。最后运行的时候通过通用语言运行库的转换，编程最终可以被CPU直接计算的机器码〔NativeCode〕。://baike.baidu/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80计算机程序设计语言?计算机程序设计语言?是2002年9月清华大学出版社出版的图书，作者是DonaldE.Knuth。[1] ://baike.baidu/item/%E9%A2%84%E5%A4%84%E7%90%86%E5%99%A8预处理器预处理器是在真正的编译开始之前由编译器调用的独立程序。预处理器可以删除注释、包含其他文件以及执行宏〔宏macro是一段重复文字的简短描写〕替代。://baike.baidu/item/%E7%9B%AE%E6%A0%87%E4%BB%A3%E7%A0%81目标代码目标代码〔objectcode〕指计算机科学中编译器或汇编器处理源代码后所生成的代码，它一般由机器代码或接近于机器语言的代码组成。://baike.baidu/item/%E9%AB%98%E7%BA%A7%E8%AF%AD%E8%A8%80高级语言高级语言〔High-levelprogramminglanguage〕相对于机器语言〔machinelanguage，是一种指令集的体系。这种指令集，称机器码〔machinecode〕，是电脑的CPU可直接解读的数据〕而言。是高度封装了的编程语言，与低级语言相对。它是以人类的日常语言为根底的一种编程语言，使用一般人易于接受的文字来表示〔例如汉字、不规那么英文或其他外语〕，从而使程序编写员编写更容易，亦有较高的可读性，以方便对电脑认知较浅的人亦可以大概明白其内容。由于早期电脑业的开展主要在美国，因此一般的高级语言都是以英语为蓝本。在1980年代，当东亚地区开始使用电脑时，在日本、台湾及中国大陆都曾尝试开发用各自地方语言编写的高级语言，当中主要都是改编BASIC或专用于数据库数据访问的语言，但是随着编程者的外语能力提升，现时的有关开发很少。由于汇编语言依赖于硬件体系，且助记符量大难记，于是人们又创造了更加易用的所谓高级语言。在这种语言下，其语法和结构更类似汉字或者普通英文，且由于远离对硬件的直接操作，使得一般人经过学习之后都可以编程。高级语言通常按其根本类型、代系、实现方式、应用范围等分类。
浙公网安备 33021202002483