基于SOA架构的恶意爬虫DDoS攻击检测技术研究[Word文档]

基于SOA架构的恶意爬虫DDoS攻击检测技术研究[Word文档] 基于SOA架构的恶意爬虫DDoS攻击检测技术研究 关键字:基于,soa,架构,恶意,爬虫,ddos,ddos攻击,攻击,检测,检测技术,技术,技术研究,研究 基于SOA架构的恶意爬虫DDoS攻击检测技术研究 本文为Word文档，感谢你的关注, 摘要: 面向服务的体系架构(SOA)作为一个全新的网络架构和组件模型，已经逐渐成为中国IT系统架构的主导思想。随着该体系首选的Web服务发展与普及应用，其安全问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 日益突出，特别是DDoS(分布式拒绝服务攻击)因为其较易实施和难以防范的特点，日益成为当今网络安全领域面临的巨大威胁。本文主要针对近年来出现的利用搜索引擎爬虫技术来实施的DDoS攻击环境下，相应的检测防御技术研究。 关键词:SOA DDoS 爬虫技术 检测技术 TP393.08 A 1007-9416(2016)10-0202-01 面向服务的体系架构(Service-Oriented Architecture， SOA)作为一个全新的网络架构和组件模型，在提供便利的同时也面临安全方面的挑战。SOA系统不但会受到传统的网络攻击，如重放攻击、注入攻击等，也会受到各种DDoS攻击。近日有研究表明，假冒搜索引擎爬虫已经成为第三大DDoS攻击工具。本文所介绍的基于SOA架构下的DDoS攻击检测方法主要针对当今比较流行的利用网络爬虫所发起的DDoS攻击。 1 SOA安全问题研究 SOA是一个组件模型，它将应用程序的不同功能单元(即服务)通过这些服务之间定义良好的接口和契约联系起来。SOA目前在很大程度上还是比较依赖Web服务，特别是一些面向服务技术在SOA架构上的应用，导致SOA在提供了良好的便捷的同时也避免不了一些安全隐患。而目前来看SOA往往大多应用在企业级平台之上，它所承担的服务不再单纯 的是一种技术能力，而更多的是一种业务能力和IT资产。因此研究SOA架构下安全问题，特别是安全检测技术，在风险到来之前提前预测、感知和及时响应具有十分重要的意义。 2 网络爬虫技术 2.1 网络爬虫概述 网络搜索引擎的主要数据来源就是互联网网页，通用搜索引擎的目,司褪蔷】赡艿奶岣咄,络覆盖率，网络爬虫(又称网页蜘蛛或者网络机器人)，就是一种按照特定规则，自动抓取互联网信息的脚本或者程序。 搜索引擎利用网络爬虫技术爬取Web网页、文件甚至图片、音视频等多媒体资源，通过相应的索引技术处理这些信息后提供给用户查询。 2.2 网络爬虫的安全性问题 网络爬虫策略就是尽可能多的抓取互联网中的高价值信息，所以爬虫程序会根据特定策略尽可能多的访问互联网上的网站页面，这毫无疑问会占用目标网站的网络带宽和Web服务器的处理开销，特别是一些小型网站，仅仅处理各种搜索引擎公司的爬虫引擎就会导致自身服务器“应接不暇”。所以黑客可以假冒爬虫程序对Web站点发动DDoS攻击，使网站服务器在大量爬虫程序的访问下，系统资源耗尽而不能及时响应正常用户的请求甚至彻底崩溃。不仅如此，黑客还可能利用网络爬虫抓取各种敏感资料用于不正当用途。比如遍历网站目录列表;搜索测试页面、手册文档、样本程序以查找可能存在的缺陷程序;搜索网站管理员登录页面;搜索互联网用户的个人资料等等。 3 恶意爬虫DDoS攻击的防范和检测 一般情况下，因为特定网站的特殊原因，比如有些网站不希望爬虫白天抓取网页，有些网站不希望爬虫抓取敏感信息等，所以爬虫程序默认是需要遵守Robots 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 ，所以限制爬虫最简单直接的方法就是设置robots.txt规则。然而并 不是所有的搜索引擎爬虫都会遵守robots规则，所以仅仅设置robots是远远不够的。 3.1 日志分析来检测恶意爬虫攻击 (1)分析服务器日志统计访问最多的IP地址段。 grep Processing production.log | awk ’{print $4}’ | awk -F’.’ ’{print $1〃.〃$2〃.〃$3〃.0〃}’ | sort | uniq -c | sort -r -n | head -n 200 > stat_ip.log (2)把统计结果和流量统计系统记录的IP地址进行对比，排除真实用户访问IP，再排除正常的网页爬虫，如Google，百度，微软爬虫等。很容易得到可疑的IP地址。分析可疑ip 的请求时间、频率、refer头等，很容易检测是否网络爬虫，类似如图1所示日志信息明显是一个网络爬虫。 3.2 基于访问行为特征检测爬虫DDoS 通过日志分析来检测恶意爬虫攻击，无法及时检测并屏蔽这些spider。所以面对分布式的爬虫DDoS攻击，网站很有可能无法访问，分析日志无法及时解决问题。针对恶意爬虫程序和正常用户访问之间的行为特征不同，爬虫DDoS程序为了达到占用系统资源的目的，其访问往往是频率很高而且呈明显规律性，明显区别于真实正常用户浏览访问时的低频率和随机性，所以基于统计数据或者其他应用识别或者IPS技术，可以较容易的生成正常情况下的行为模型，通过采集正常的流量行为可以构造一个正常的网络行为模型，我们可以把处于正常模型内的流量行为认定为正常行为，一旦和正常行为轮廓有了较大的偏离，可以认定为异常或者攻击行为。 4 结语 由于基于SOA的网络系统下的DDoS攻击的普遍性，以及网络爬虫及其对应技术给现有Web系统带来的安全威胁。本文提出了一些反恶意爬虫攻击的策略和思路，对网站管理及安全人员，有一定的参考意义。随着基于网络爬虫和搜索 引擎技术的互联网应用日益增多，我们有必要针对这些应用带来的安全问题做更深入的研究。 参考文献 [1]袁志勇.分布式拒绝服务攻击的攻击源追踪技术研究[D].长沙:中南大学，2009. [2]何远超.基于Web的网络爬虫的设计与实现[J].网微计算机信息，2007，23(21):119-121. [3]周伟，王丽娜，张焕国，傅建明.一种新的DDoS攻击方法及对策[J].计算机应用，2003.01:144. [4]王希斌，廉龙颖.网络安全实验中DDoS攻击实验的实现[J].实验科学与技术，2016，14(1):68-71. 收稿日期:2016-08-30 基金项目:国家863项目(863-2015-03F) 作者简介:刘书林(1991―)，男，河南信阳人，硕士研究生，研究方向:Web安全，DDoS攻击检测，无线网络技术。 文档资料:基于SOA架构的恶意爬虫DDoS攻击检测技术研究 完整下载 完整阅读 全文下载 全文阅读 免费阅读及下载 阅读相关文档:基于jQueryMobile的中药资源移动学习系统设计 WinCC在磨选分级系统中的应用 高等院校计算机实验室考试系统设计与实现方法探究 基于单片机的瓦斯检测报警仪的研究和设计 材料力学虚拟实验系统设计与实现 基于安卓平台的楼宇对讲系统设计与实现 一种移动应用数据同步 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 设计 纳米尺度互连线寄生参数的仿真及应用于CMOS射频集成电路设计 基于单片机的数字电子称设计 立体互动网络教学平台设计与实现研究 基于风光互补型的智能LED路灯控制器的设计 基于云计算的区域医疗信息数据共享平台的设计与实现 浅谈利用ASP技术进行应用程序开发 数字滤波技术在医学图像去噪中的应用 基 感谢你的阅读和下载 *资源、信息来源于网络。本文若侵犯了您的权益，请留言或者发站内信息。我将尽快删除。*