基于SYSLOG的集中日志管理系统研究与实现（可编辑）

基于SYSLOG的集中日志管理系统研究与实现（可编辑） 遵毒蔼哥 基于的集中日志管理系统的研究与实现 摘要 日志对于网络的正常运营非常重要。它记录了系统每天发生的各 种事件,维护人员可以通过它来检查设备的故障,监控用户的使用行 为等。随着网络的快速发展,日志数据量急剧增加,如何对其进行有 ‘.。 ?氇霭爹啧?善霉强诺譬喝矽广; 效地管理,成为迫切需要解决的问题。 本文研究的背景是杭州电信承建的杭州市政府数据容灾集中灾 。‰皙留 各项目,通过对该项目使用的系列安全存储服务器的日志数据 进行集中采集、分析,达到监控网络的安全状况及查看设备故障的目 的。 本文首先研究了日志管理系统中各个环节的关键技术。通过对其 优缺点的分析,结合项目实际情况和需求分析,得出所采用的各项技 术。接着,设计系统架构,包括软件和硬件架构以及各模块功能。 最 后,实现了系统,并对各功能进行了测试。 同其它利用日志进行的研究相比较,本文具有如下特点: 穗 日志处理的完整流程:从设备上产生的 日志,通过传输,发送到远程集中日志服务器,然后存储到数 据库中,进行分析处理。 实现架构:日志服务器采用平台,它是基于 本课题得到国家中小企业创新基金和浙江工商大学科技基金? ?资助. ,具有成 具有不同 .,, ., . . 觚 , . ., ,. . , , : : , , , . .,, ., ,. , ,:. : ;; ;; 目录 摘要.?..... 目蜀乏??. 绪论一 . 系统研发背景.. . 研发内容和目标.. 研究内容 .. 目标一. . 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 特点和组织结构?‘??. .. 论文特点??。 .. 组织结构 日志安全管理系统综述??.. . 日志管理的基本概念。 .. 安全软件日志一 .. 操作系统日志.. . 应用口志 . 日志管理结构? .. 典型日志管理结构:?。 .. 基于集中日志管理软件.. 安全信息和事件管理软件?。 .. 其他类型的日志管理软件.. 总结?. . 日志管理面临的挑战 .. 日志产生和存储??. .. 日志保护.. 日志分析??. . 日志管理策略 日志安全管理系统关键技术 . 日志管理协议 .. 日志管理规范 .. 日志协议实现. . 日志产生和采集??. . 日志传输.. 传输方式 .. 传输方式. .. 传输方式 . 日志存储. 日志分析. 日志呈现.. /结构 .. /结构系统架构设计 . 项目背景. 日忠管理需求分析?. . 系统总体架构. .. 硬件架构.. 软件架构 . 各模块设计?. .. 日志产牛和采集模块. .. 日志传输设计 .. 日志存储设计. .. 日志查询和呈现??. .. 数据库设计? 系统实现??. . 系统实现概述一 . 界面实现.. .. 查询功能.. 分页功能. 权限实现??. . 数据库管理的实现? .. 数据库的备份?:.. 数据库恢复? 系统测试与结果. 测试环境. 测试用例??. .. 时间功能测试. .. 目志类型测试. .. 示警度测试? .. 查询同志标签一 .. 查询信息.. 综合测试总结与展望?. . 总结??. . 展望?. 参考文献? 本文作者硕士期间参加的科研项目及发表的学术论文 致谢??. 独创性声明? 绪论 .系统研发背景 计算机网络的发展,特别是的迅速膨胀,带来了信息领域的空前 繁 荣,同时也提高了信息利用率,但是给计算机网络的安全带来了 前所未有的挑战。 计算机病毒、垃圾邮件、黑客入侵【】等也给互联网的运行和广大用户带来了越来 越多的麻烦。 计算机病毒和垃圾邮件已经成为互联网时代的两大杀手,而邮件病毒更甚, 因为它不但能产生垃圾邮件,而且还能感染电脑、阻塞网络,造成更大的损失。 其次,黑客入侵和攻击同样是网络安全人员需要面对的一个棘手问题。随着目前 行业网络应用的普及,许多行业对计算机网络的依存度也越来越高。若入侵者通 过互联网渗透到内部网络,机密数据有可能遭到破坏或盗取。在网络防御方面, 人们所要面临的安全问题往往是难以预测的,因此需要网络安全人员保持警惕, 将网络风险降低至最小程度。 目前采用的安全措施包括:备份和镜像数据、提高物理安全、构筑 防火墙、加密、分析日志等。这些对加强网络安全起到了一定的作用。不过反病 毒措施落后于病毒的发展速度已经是不争的事实,随着技术的进步,若仅仅依靠 给系统打补丁、安装网络防火墙等常规措施,人们将长期处于被动地位。因此解 决网络安全问题的关键就在于未雨绸缪,争取主动,坚持技术与管理并举发展。 如何能在问题发生前,进行防范是关键。这就需要在事前监测各种事件,能对事 件进行判断,做出及时的反应。这些信息在日志中都有反映,及早发现能大大提 高网络的安全性。 在网络的安全机制中,对网络系统中的安全设备、网络设备和应用系统的运 行状况进行全面的监测、分析、评估是保障网络安全的重要手段,而对日志文件 的管理和分析对了解各种网络设备的运行状况有着非常重要的作用。日志用来描 述操作系统、应用程序和用户的行为,监控用户对系统的使用情况,记录系统中 的异常行为。事先监测日志数据【】以寻找可疑的活动迹象以及在发生安全事件 时,分析日志数据是非常有价值的。当系统被攻击时,通过分析日志可以找出当前的系统漏洞,确定网络安全中的薄弱环节,分析和定位可能出现的攻击,从而 采取相应的措施加强网络控制。在任何系统发生崩溃或需要重新启动时,数据就 遵从目志文件中的信息记录原封不动地进行恢复。每个日志文件包含许多信息, 如果知道这些信息的含义,或者从边界防御的角度来分析这些数据,那么日志的 价值将无法估量。同样,在网络安全方面,日志也有着十分重要的作用,它们可 以为事故处理、入侵检测、事件关联以及综合性的故障诊断等各种网络安全事件 提供帮助。 .研发内容和目标 ..研究内容 .了解当前日志的发展水平以及典型的管理体系,把握最新的研究状况, 为本项目的日志管理系统提供参考。 .详细研究在日志管理系统中各个环节的关键技术,包括日志的产生和采 集、日志传输、日志存储、日志分析和呈现等,并结合实际情况得出项目中用到 的技术。 .研究日志协议,指出相对的改进之处。 .研究需求分析,规划功能模块。 .对系统进行设计,包括软件和硬件架轵及详细阐述各个模块的设计。 .分析、处理收集到的日志,并对志进行界面可视化,提供相关查询功 能。 ..目标 本论文研究的目标是通过对各类网络设备特别是安全存储服务器的 日志数据进行集中采集、分析,构造日志管理系统,以达到对全网运行状况进行 检测的目的。具体包括如下目标: 采用比较好的并且容易实现的架构,搭建一个比较安全稳定的网络环境,能 够快速地传输日志数据,并对收集的日志进行分析处理。对管理人员来说,能够 简单方便地查看所需要的日志消息,简化工作量,提高工作效率。在实现日志分 析处理方面有以下几点要求: 用数据库存储日志,进行实时分析。 提供实时日志浏览。 用界面查看日志消息。 提供日志查询,方便管理员分析网络设备运营状况。 为了达到上述要求,本系统通过日志服务器来采集各种设备的原始日志数 据,经过滤等措施后存储到数据库中,作为查询的基础数据。网络管理人员通过 浏览器提交需要查询的请求,服务器接收请求以后,通过日志的查询引 擎对数据库信息进行分析,并用服务器将查询的结果返回给查询的用户。整 个系统由日志服务器、日志数据库以及前台程序等组成。 日志服务器:用来采集各类设备的原始日志数据。 数据库系统:要处理这么大量的日志数据,如果在原始的文本文件基础 上进行处理,系统的响应难以保证。为了能够快速地统计和查询日志信息,系统 采用了数据库来管理日志数据。 .论文特点和组织结构 本论文研究的是设备日志分析的相关技术及其系统实现,设备包括杭州奕锐 电子公司的系列网络存储安全服务器等。 ..论文特点 采用系列设备日志作为研究的基础数据。同传统的基于侦听和 流量采集的方法相比较,该信息采集方式既灵活又全面。 采用服务架构。既可以用浏览器进行查询,也可以为其它客户端程 序提供服务。系统通讯采用 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的协议,可以实现跨平台操作。 采用日志服务器来接收各种设备的日志数据。只要对设备进行设置,就 可以实现对多个设备的多种日志的集中分析。 采用数据库存储日志,有利于对日志进行实时分析。 .组织结构. 本文论述了从研究现状、需求分析、系统总体设计到系统各部分设计的整个 过程,并给出了应用实现系统。本文共分成绪论、相关领域研究综述、系统关键 技术、系统总体设计、系统实现、系统测试与结果以及总结与展望共七章,各部 分内容如下: 第一章为绪论。首先介绍了系统研发背景,提出本课题研究的必要性和重要 性;接着提出论文研究的目标,即通过对系列设备日志的分析,达到监测 网络设备运行的目的。最后,提出了本论文的特点,并介绍了论文的组织结构。 第二章日志安全管理系统综述。介绍了当前日志管理的研究现状,分析了日 志研究及其应用面临的挑战。 第三章介绍了日志管理协议,然后对日志数据采集技术、传输技术、存储、 分析以及呈现技术进行详细剖析,并指出本项目中选用的技术及其原因。 第四章为日志管理系统的总体设计。对系统需求进行分析,对软硬件架构、 模块功能等方面进行了设计。 第五章为系统实现。首先进行系统实现概述,然后详解界面的实现,给 出查询的部分代码,并且进行了分析。进一步讲解权限实现的原理,对数据库进 行管理这两个方面。 第六章为系统测试与结果。测试了界面的日志查询功能,包括时间、日 志类型、示警度、日志标签的查询及日志消息内容的检索。 第七章为总结和展望。首先对本论文研究的内容与研究特点作了总结,然后 展望了在本系统基础上可以进一步研究的工作。 日志安全管理系统综述 日志记录设备和网络中的一系列事件。日志由日志条目组成。每个条目的产 生都依赖于系统或网络中所发牛的特定的事件。最初,日志主要是用来排除故障 的,但现在日志的用途更加广泛,比如优化系统和网络性能,记录用户的行为, 为研究恶意行为提供有用的数据。在一些系统中,日志记录的都是有关设备安全 的信息,最常见的例子是安全日志和审计日志,跟踪用户的身份验证尝试和安全 设备可能遭受攻击的事件。 随着网络服务器,工作站以及其他的电脑设备大规模的使用,网络安全威胁 也日益严重。这使得构建专门的日志安全管理系统成为必然的需求。 .日志管理的基本概念 日志包含了发生在系统和网络中的事件的大量信息。下面主要描述了不同日 志来源包含的日志信息: 安全软件的日志主要包含了基于设备运作产生的安全信息。 操作系统日志和应用程序日志包含了大量信息,其中有一部分是关于设 备运行安全状况的信息。 ..安全软件日志 大多数系统用几种基于网络和主机的安全软件来防御恶意攻击,保护系统和 数据以及减少突发事件的影响。所以,安全软件是设备在安全运行方面主要的日 志来源。一般的基于网络和主机的安全软件包括以下几个方面: .反恶意软件。反恶意软件最常见的类型是杀毒软件,它记录了侦探到的 恶意软件,文件以及清理病毒和文件隔离等事件。另外,杀毒软件同时也可能记 录自身更新或者扫描病毒的事件。反间谍软件和反恶意软件例如,检测 也是常见的安全信息来源。 .入侵检测和入侵防御系统。入侵检测和入侵防御系统对可疑行为和检测 到的攻击,以及对防止入侵行为所采取的行动进行了详细的记录。一些入侵检测系统软件,采取的检测是定期运行而不是连续运行,如文件的完整性检查,所以 产生的是分批的日志。 .远程访问软件。远程访问通常通过虚拟专用网络来保证安全。 系统记录成功和失败的登录尝试,每个用户连接和断开的日期和 时间,和 在每个会话中发送和接收的数据量。 .代理。代理又称网页代理。代理服务器其功能就是代理网络用 户去取得网络信息。形象地说:它是网络信息的中转站。代理,也可以用 来限制访问,并增添了客户端和服务器之间的保护层。代理 往往保留了通过他们进行访问的所有记录。 二。一.认证服务器。认证服务器包括目录服务器和单点登录服务器,通常它的 每个日志,记录了包括源地址,用户名,成功或失败,以及日期和时间的信息。 .路南器。路由器基于某些策略,可以配置成使特定类型的数据流通过或 阻止。所以常用来记录那些被阻止的数据流的最基本特征。 .防火墙。像路由器一样,基于某些策略,可以用来允许或阻止特定数据 流。但是,防火墙使用更先进的方法来研究网络流量。 .网络隔离服务器。有些系统会在远程主机进入网络之前检查其安全状况。 这通常通过一个网络隔离服务器和在每台主机上进行设置代理来实现。无论是能 通过服务器的检查,还是因为检查不通过而被隔离在一个单独的 虚拟局域网络【】 ?。中主机对此都不将产生回应。网络隔离服务器记录了哪些主机可以 通过,哪些主机基于何种原因没有通过的日志信息。 ..操作系统日志 操作系统日志对服务器,工作站及网络设备来说,常常包含了很多关于安 全信息的日志。最常见的操作系统的安全日志形式如下所列: 系统事件。系统事件通过组件来执行,比如关闭系统或开启服务。通 常情况下,记录下失败的事件和最重要的成功事件,但许多操作系统还允许管理 员指定记录哪些类型的事件。每个事件记录的细节也有很大的不同;通常来说每 个事件包括时间戳和其他辅助信息,比如事件状态,错误代码,服务的名称等。 审计记录。审计记录包含了事件的安全信息比如成功和失败的验证,文 件传送,安全策略改变,帐户的改变创建、删除、帐户权限分配和使用权限 的设置。操作系统通常允许管理员指定哪些类型事件被记录,以及是否应被审核 成功。 操作系统日志对研究主机内部的可疑活动是非常有用的。往往在安全软件识 别可疑活动后,操作系统日志经常协助捕获到更多有关活动的信息。例如,一个 网络安全设备可能检测到针对特定主机的攻击,该主机的操作系统日志可能表 明,攻击发生在该用户登录的时刻以及是否攻击成功等信息。很多操作系统日志 采用格式。 ..应用日志 操作系统日志和安全软件日志对设备的应用程序提供了最基本的保护。应用 程序是能够提供特定的功能,满足特定需求的软件。大多数设备依赖现成的应用 程序 ?,如电子邮件服务器和客户端,服务器 和浏览器,文件服务器和文件共享客户端以及数据库服务器和客户端。许多组织 也在用各种现成的或政府在用的 ,如供应 链管理,财务管理,采购系统,企业资源 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 ,客户关系管理的应用软件。除了 和软件外,大多数组织会根据自身的特殊需求定制开发应用程 序。 有些应用程序生产自己的日志文件,而其他则使用安装在其自身的操作系统 的日志记录器记录日志。应用程序所记录的日志在类型上有很大不同。下面列出 了最常见的日志记录的类型和各自潜在的好处: 客户端请求和服务器响应,这种类型所记录的日志对重构事件的先后顺 序有很大的帮助。如果用户验证成功,登录该应用软件,就有可能记录下这个用 户发出的每个请求。有些应用程序的日志可以记录得非常详细,如电子邮件服务 器记录发送者、接收者、主题名称和每封邮件的附件名称;服务器记录了每 个请求和服务器提供的响应类型;商业应用软件记录了每个用户访问过的财 务记录。这些信息可以用来识别和调查突发事件。 帐户信息,如验证成功和失败的尝试,帐户变更例如,创建和删除帐 户,帐户权限分配,以及权限的使用。 常规信息,指的是在一定期限内例如,分钟、小时发生的交易数量 和交易规模。这对某些安全监控是非常有用的例如,电子邮件的 活动表明,传 播这封电子邮件将使恶意软件的威胁增加倍。 记录应用程序的行为如启动和关闭程序,应用程序故障和配置的变化。 这可以用来确定安全级别的改变和操作的失败。 这些日志大都采用不同的格式,再加上包含的数据往往是与上下文高度相关 的,使用起来有些困难,需要更多的资源来辅助审查这些信息。 上面介绍了很多类型的日志,在不同的情况下提供不同的帮助,比如检测攻 击等。对于每种不同的情况,对应着一种记录最全的日志类型。其他日志通常含 有丘勺细节信息比较少,可能只对关联事件有用。例如,入侵检测系统可能记录了 一个外部主机服务器发布的恶意命令;这将是一个主要的攻击信息的来源。事件 处理程序可能会再查看防火墙日志,期望找出相同源地址等连接尝试的相关信 息,这将是一个次要的攻击信息源。 管理员应该了解和清楚每个口志来源的可信度。日志来源是存在不安全性 的,例如在不安伞的传输机制下,更容易受到日志配置变化和日 志变化的影响。 当然,管理员应该特别关注,从已经袭击成功的主机上获取的日志的准确性。这 些日志通常需要经过严格的审查。 .日志管理结构 ..典型日志管理结构 一个典型的日志管理基础结构主要包含以下三个层次: 日志产生。首先包含主机所产生的日志信息。有些运行日志客户端程序 或者服务的主机,会把他们的日志通过网络传送给第二层次中的日志服务器。 日志分析和存储。第二层次是由一个或多个日志服务器组成,用来接收 或复制第一层次中的主机日志数据。传送到服务器的这些数据可能是实时或接近 实时的,比如基于一定安排,批次量传送日志数据。服务器接受来自多个主机的 日志数据,有时被称为集中日志服务器。日志数据可能存储在日志服务器本身或 单独的数据库服务器。 日志监控。第三层包含用于检测和审查日志数据和自动化分析的控制台。日志控制台也可用于生产报告。在一些日志管理基础结构中, 也可以是日志 服务器和客户端服务。 第二层次可能在复杂性和结构方面有很大的差别。最简单的模型是一个日志 服务器处理所有的日志分析和存储功能。更多关于第二层的复杂的结构如下所 示: 多个日志服务器,每个都承担部分的功能,例如一台服务器执行日志收 集,分析和短期日志存储,另一台作为长期存储的服务器。 .多个日志服务器,每个承担特定功能。这样做可以提供一些冗余措施。 当主日志服务器变得不可用时,日志接收器可以切换到备份日志服务器。此外, 日志服务器可以进行配置,使得设备之问共享日志数据,同时也支持日志数据的 存储。 图两级日志服务器应用场景 两个级别的日志服务器,如图.所示。第一级别的日志中继器集中收集各 个主机的日志,再转发给第二级别的日志服务器。附加层可以被添加到这个架 构中,使其更加灵活,增强扩展性和冗余度。在某些情况下,第一级服务器作 为日志中继服务器,简单地收集日志数据和转发给其他日志服务器。这样做可以 保护第二层次服务器,免于遭受直接攻击,特别当那些日志发生器和第二层次服 务器之间的网络可靠性有待提高时,这样做就非常有效了,例如有个可靠的本地 网络日志中继服务器,可以及时接收本地日志数据,然后在网络连接许可的情况 下,把这些数据转发给第二层次日志服务器。 日志管理系统通常可以执行存储、分析和日志数据处理等多种功能。这些功 能基本上不改变日志的原始信息。 ..基于集中日志管理软件 基于协议的日志管理系统中,每个日志发生器采用相同的日志格式和 日志机制把日志传输到同样采用机制的日志服务器上。提供了一个 日忐条目生成、存储和传输的简单框架,即任何操作系统、安全软件、或应用程 序只要按照该协议做,都可以使用。很多日志源都使用作为它们 主要的日 志格式,即使不采用,也会提供相应的方法,使它们的日志可以转换成格 式。 日志格式 基于两个重要的属性,如图所示,指定每条日志的优先级: 消息类型。比如包含内核消息、邮件系统消息、授权消息、打印机信息 和审计信息。 示警度。每个日志信息都被分配特定的示警度,从紧急到调试。 /吏用消息优先级来确定哪些信息应该更迅速地处理,优先级较高的日 志消息将优先得到转发。 图.影响日志优先级的两个属性 但是,优先级不影响每条消息的请求内容和动作。可以将志配置成 基于每条消息的类型和示警度来处理日志条目。例如,为了进一步审查内容,它 可以转发示警度为的内核信息到集中日志服务器,对示警度为的日志消息只进 行简单的记录而不转发。但是,不提供更细微的措施来处理消息,比如, 它不能基于信息源和消息内容去处理日志。当初设计的时候,就是基于简 单易行的想法。每个日志消息由三部分组成。第一部分用数值指定类型和示警度。 第二部分包含了一个时间戳、一个主机名或日志源的口地址。第三部分是日志消 息的实际内容,在这部分中,没有进行标准的字段定义,主要规划是方便人阅读, 而不是面对机器的语言。这为日志发生器提供了非常高的灵活性,它可以将任何 认为重要的信息放在第三部分中,但它增加了日志数据的自动分析的难度。单一 . 的日志源就可能对其日志信息采用不同的日志格式,这样分析日志程序需要熟悉 每种日志格式,并能够提取每种格式下日志数据的含义。当日志由很多日志源产 生,这个问题变得更加具有难度。这不利于理解每种日志消息的含义,因此分析 可能仅仅局限于关键字和模式搜索【引。一些组织自己设计日志架构,使他们的日 志消息类型尽可能一致,这样可以使日志分析自动化更容易执 行。 的安全性 在发展的某一阶段,安全问题并不是考虑的主要因素。因此,它不支 持诸如维护日志机密性、完整性和可用性等基本的安全控制功能。例如,大多数 的使用无连接的,不可靠的用户数据报协议传输主机之间的日志。 无法保证日志条目能成功接收或按照次序来接收。此外,大多数基于 架构中,不执行任何访问控制。所以要使消息顺利从主机发送到日志服务器,必 须保证其他安全措施到位,比如使用物理上独立的网络与服务器进行通信, 或实施网络设备的访问控制列表来限制哪些主机可将消息发送到服务器 等。不安全因素举例,攻击者可能将人量的伪造日志消息发送给服务器, 这可能导致重要的日志条目被忽视,甚至可能导致服务器瘫痪。另一个缺点是, 在传输过程中不能使用加密来保护日志的安全性。攻击者可能监控网络日志中包 含的敏感信息和安全方面的弱点。攻击者也可能执行中间人攻击,采用诸如在传 输过程中修改或破坏信息的方法。 因为日志安全越来越凸显出来,使得的协议更加关注安全。如. 是特别为了提高日志安全而制定的协议。它支持日志的保密、完整性检查等许多功能,列举如下: 可靠的日志传输。一些三志实现,除了支持外,还支持传输 控制协议。是一个面向连接的协议,以此来确保整个网络信息的可 靠传送。用有助于确保日志条目到达目的地。使用增强可靠性,却同时 意味着花费更多的带宽及时间将日志送达目的地。在一些架:构里,采用前 面提到的日志中继器来解决这一问题。 传输机密保护。建议用传输层安全协议来保护 信息的机密性。在传输的整个期问,都可以为主机之间日志的传输提供保护。 只能保护数据包中的有效载荷,却不能保护头,这意味着网络中的窃取者 可以识别日志的来源和日志的目的地,有可能获取到服务器和日志源的 地址。在一些日志管理系统中,采用其他方法来实现加密传输通 道,例如通过 通道来传输日志信息。保护传输需要额外的网络带宽以及 增加日志信息到达目的地所需的时间。 传输的完整性检查和验证。建议,如果需要进行传输的完整性检查 和验证,可以使用信息摘要算法。建议使用算法,是 设计的一系列消息摘要算法中的第个算法。另一个主要的消息摘要函数是 .,它由开发,并被标准化在 中。 一些日志管理系统中提供了一些不基于 的附加功能。那些功能最大 的特点如下: 强大的过滤功能。 原始的日志系统中,允许只基于消息类型和优先级 进行处理,无法对此进行更精确地过滤。目前一些日志管理系统中提供了更强大 的过滤功能,如基于主机或产生日志的应用程序,或消息中与正则表达式相匹配 的内容等。一些系统具备更复杂的过滤能力,比如允许对一条日志消息,进行多 重过滤。 日志分析。最初,艮务器不提供任何日志数据的分析,它们只是 提供了一个简单的框架,进行日志数据的记录和传输。管理员可以使用单独的分 析日志的程序分析日志。现在一些日志管理系统只实现有限的日志分析功能,如 关联多个日志条目。 事件响应。某些日志管理系统检测到特定事件时,可以采取一定的行动。 比如发送. ,通过网页或电子邮件提醒管理员,设立一个单独的程序 或脚本。是由设备主动发出的报警数据,用以提示重要的状态改变。还有可 能检测到一个特定事件时,采取行动,创建新的消息。 非统一的日志格式。一些实现系统中能接受:格式的数据, 比如 。这有助于从那些不支持格式且不能进行日志格式更改的主 机获取安全事件数据。 日志文件加密。一些实现系统可以配置为轮询日志自动加密,保 护他们的机密性。这也可以通过操作系统或第三方软件来实现。 数据库奄储日志。有些日志管理系统既可以用传统的文件的方式储存日 志,也可以用数据库来存储。存储在数据库的这种方式,对后续的日志分析是非 常有帮助的。 速率限制。有些实现系统会在一定时期内,对日志消息的数量或 者某个特定源的连接量进行限制。下图.描述对袭击主机进行速率限制的 必要性。 接受 正常日志 正常主机 图?遭到攻击的日志服务器 .. 由于一个恶意事件,产生了大量非正常的日志消息,使艮务器遭受 攻击【,使其他来源的消息丢失,因为进行速率限制的依据是服务器收到 的消息超出了它的接受能力,就会引发消息丢失。所以要限制每台机子发送日志的速率。 ..安全信息和事件管理软件 安全信息和事件管理 软 件与软件相比,是一个相对较新的集中日志软件。产品有一个或多个 服务器执行日志分析,以及一个或多个数据库服务器存储日志。大多数产 品支持两种从日志发生器收集日志的方法: 无代理。在系统中,主机上无需安装特别的软件,服务器就可以 从主机获取日志。通过服务器对每个主机进行身份验证及对口志记录定期橙索来 获取主机日志。在其他情况下,主机把日志消息主动发送给服务器。无论服务器 是主动获取或被动接受日志,服务器都将对它们进行事件过滤、汇总和分析。 基于代理。在主机上安装一个代理程序,对日志进行过滤、汇总和规范 化,然后实时或接近实时地传送到服务器上,进行分析和存储。如果一个 主机上产生多种类型的日志,有可能需要安装多个代理。有些产品提供的 代理包含和通用的日志格式比如。一般的代理主要用来从主机上获 得数据。有些产品还允许管理员创建自定义类型的代理去处理不支持的日志消 息。 每个方法都有优缺点。无代理的主要优点是不需要安装配置代理,就不需要 对每台主机进行维护。主要的缺点是在主机层面上,缺少过滤和 汇总,这样就会 增加负载。无代理方法的另一个潜在缺点是,服务器需要为每台主机分配 认证证书。在某些情况下,两者只能选其一;例如,如果不安装代理,将没办法 远程收集一个特定主机日志。有代理的主要优点是可以在主机层面上,进行过滤 和汇总,减少日志服务器的负载。缺点是,需要在每台主机上安装代理程序以及 进行维护。 产品通常支持几十种日志来源,包括操作系统,安全软件,应用服务 器例如,艮务器,电子邮件服务器,甚至物理安全控制设备如标记阅读 器等。对于每一个支持的日志类型,包括通用的格式如,产品通常都 知道如何进行分类记录最重要的目志域。这大大提高了对特殊的日志源和日志格 式,进行日志分析处理的水平。此外,软件通过过滤掉那些字段中没有明 显含有安全问题的日志,潜在地减少了软件的网络带宽和存储数据使用量。 不管以何种方式接收日志数据通过代理或无代理的方法,一个服 务器可以分析所有不同的日志源的数据,日志条目中的相关事件,识别重要事件 的优先级,如果需要的话,还可以对事件进行响应。产品从帮助日志检测 人员角度来说,包含以下几个方面: 图形用户界面,专门设讨‘协助数据分析员找出潜在的问题和审 查与每个问题相关的所有可用数据。 安全知识库,己知的安全漏洞,某些日志消息代表的潜在意思和其他技 术资料;日志分析员往往可以自定义需要的知识库。 事件跟踪和报告功能,有时候体现出强大的工作流功能。:。. 信息存储和相关资产比如可以评估出对攻击者来说,哪个操作系统更 脆弱或哪个主机更关键。 产品,没有特别的标准,所以每个产品可以选择任何格式存储和 传输数据。然而,产品通常提供保护日志机密性,完整性和日志可用性的 功能。比如,代理和服务器之间的网络通信通常基于可靠的协议,并 进行加密。此外,代理和服务器可能需要向对方提供凭据,并成功进行身 份验证,才可以传输数据例如,代理发送日志到服务器,服务器重新配置代理。 ..其他类型的日志管理软件 其他类型的软件也可能对日志管理有帮助,包括以下几个方面: 基于主机的入侵检测系统。基于主机的可以监控一个单独 主机和发牛在主机中的可疑活动的特征的事件。很多基于主机的产品监控主 机的操作系统,安全软件和应用程序日志。有些基于主机的用日志作为侦探 可疑活动的数据来源之一,而其他基于主机的只监测日志。一般来说,基于 主机的通过日志数据,可以为那些已知的恶意活动进行标识。 然而,这些 产品往往针对操作系统日志和最常见的安全软件和应用程序,对那些不常见的软 件支持力度较小。 可视化工具。可视化工具可以用图形的形式呈现安全事件数据。例如, 一个工具可以给数据分组或不同特征的数据进行分类,比如源地址。分析师可以选择显示和操作模式,如抑制已知事件的活动,以便只显示未知事件的活动。可 视化工具分析某些特定类型的数据时非常有效,比如在涉及袭击 多个主机的事件 中,可以显示袭击的先后顺序。许多产品具有内置的可视化工具。日志管 理系统缺少的某些功能可以采用第三方工具代替,但是他们比内置的工具使用起 来更难上手。导入数据到第三方工具,并显示它通常比较简单,但是如何使用工 具,使大量的数据降到感兴趣小范围内,却需要很大的努力。 日志轮询工具。管理员可以为轮询日志选一款第三方工具【】。这对那些 不提供日志轮询功能或什么功能都不提供的日志源是非常有帮助的,有利于提高 日志管理系统性能。 日志的转换工具。许多软件供应商提供日志的转换,这样可以使他们的 专有格式转换成标准的日志格式。这些工具有利于将非常规的日志源转化成日志 管理系统中统一格式的日志,比如当产品不支持某一特定的日志格式时, 这些工具是非常有用的。当那些基于的日志管理系统中有不能直接转换成 格式的日志源时,这种工具是非常有帮助的。 ..总结 日志管理系统由硬件、软件、网络和多媒体组成,用于日志的产生、传输、 存储、分析和日志的处理。日志管理系统典型的功能是日志的分析,比如过滤, 汇总,规范化和关联。日志管理系统也提供对日志进行访问和维护功能,如日志 分析、查看、轮询、归档,以及日志完整性检查。 日志管理系统,典型的基于的集中日志安全信息和事件管理的架构, 通常采用三层设计。第一层主要是产生原始日志数据,第二层包括集中式日志服 务器,并进行日志数据的整合和存储。第三层包含控制台,主要用于监控和审查 日志数据,也可以进行日志服务器和客户端的管理。各层之间的通信通常发生在 系统内部规划的网络中,但是也有可能位于分开的网络中。系统中也有产生日志 的主机却没有纳入到管理系统中,如没有网络连接的电脑,遗留的系统和基于应 用的设备:管理员也可以通过移动媒体、或管理系统手动将数据从主机传输给集 中日志管理系统。 在集中式日志管理系统中,每个日志发生器使用同一标准的日志格式,日志 条目转发到统一的集中日志服务器。由于是一个简单的标准协议,它可以 用于许多操作系统,安全软件程序和应用程序中。原始的标准没有提供特 别细的处理不同事件的方法。发展的时代,日志安全并不是一个大问题, 所以标准没有考虑日志的机密性,完整性和可用性等问题。为了提高 部署的安全性,新的标准已经建立,提供了更强大的安全功能,很多日志管理系 统也增加了功能,比如可靠的交付,传输加密,完整性保护和验证;强大的过滤; 事件的自动响应;日志文件加密;以及事件发生率限制等。使用基于的日 志管理系统,需要特别注意互用性问题,因为很多客户机和服务器没有实现规定 的标准。 基于的日志管理系统,是一个执行单一标准的架构,主要使用专 有数据格式。产品有用于分析日志的集中式服务器和用于日志存 储的数据 库服务器。大部分产品需要在主机端安装代理;代理执行过滤,汇总,并 规范化特定类型的日志。这些代理负责将主机上的日志实时或接近实时地传输给 集中式日志服务器。某些产品是无代理的,依赖?服务器主动从主机上 获取日志,扮演了代理的角色。 产品通常支持几十种日志类型,包括通用的格式类型。产品通常 优于基于的日志管理系统,因为它理解每种格式下日志的意思,所以能更 好地进行日志分析,数据之间的关联等等。产品可以对许多来源的数据进 行分析,找出重要的事件,如果需要的话,还可以进行自动回复。产品也 可能包含图形用户分析界面,安全知识库,事件跟踪和报告能力,以及资产 信息存储和关联功能。产品通常也提供数据机密性、完整性、可用性的保 护功能。 虽然产品提供志管理系统更强大,更广泛的功能,但是部署 起来,产品往往匕集中日志管理系统更为复杂和昂贵。此外,在 系统中,对单个主机来说,代理进程需要消耗更多的资源。 除了系统和软件,还有其他软件可能对日志管理系统提供帮助。 基于主机的入侵检测系统可以监控发生在主机内的日志事件特征,包括 操作系统,安全软件和应用程序日志。基于主机的产品通常是日志管理系统 的一部分,不能取代和软件。其它工具对日志管理系统也是非常有帮 .助的,比如可视化工具,日志轮询工具和日志转换工具。 .日志管理面临的挑战 大多数使用者面临着相似的有关日志管理的挑战,基本问题是:有限的日志 管理系统的资源和不断增长的日志数据之间的矛盾。这里把最常见的问题分成三 类。首先,由于日志米源的多样性和广泛性,会产生几个潜在的问题。第二,日 志的保密性、完整性和日志的可用性可能会遭到有意或无意的破坏。最后,负责 分析的人员往往欠缺知识储备,无法胜任这项工作。 ..日志产生和存储 在典型的应用场景中,很多主机的不同操作系统,安全软件和其他应用程序 产生日志,并需要对其进行存储。以下所述的几个方面使日志管理更加复杂化: 日志来源众多。日志位于系统中的很多主机上,有必要把日志管理贯彻 到整个日志管理系统中。此外,一个日志源可以产生多个日志文件,例如,一个 程序把认证日志存在一个文件中,网络活动的日志存在另一个文件中。 日志内容不一致。每个日志源在它的日志条目中记录了一些信息,比如 地址和用户名。为了提高效率,日志源通常记录它们认为最重要的信息。由于 日志源不同,日志没有共同的格式标准,不能获取有价值的数据,很难把日志事 件关联起来比如一条日志消息记录了源地址却没有用户名,另一条记录了用 户名却没有记录源口地址。每个日志源的类型也可能不同,稍微有些差异,例 如一个日期格式为,另一种为..吖。 时间戳不一致。每个主机通常按照它内部时钟,来设置生成日志条目的 时间戳。如果主机的时钟是不准确的,那么日志的时间戳也是不 精确的。这使日 志的分析更加困难,特别同时分析多个主机的日志消息。例如,时间戳可能显示 事件比事件早发生秒,而实际上事件比事件迟发生分钟。 日志格式不一致。源日志可能因为产生的日志类型不同采用不同日志格 式,如逗号分隔或制表符分隔的文本文件,数据库,,简单网络管理协议 ,可扩展标记语言?沮。和二进制文件等。有些日志专为人类阅读 设计的,有些则不是;有些日志采用标准格式,有些则使用专门的格式。有些日志不是创建在本地文件中,而是传输到另一个系统的进程中,一个常见的例子是 。为方便日志分析,通常需要采用自动转换方法将多种不同格式日志 转换成统一的标准格式。日志格式的不一致和数据域代表的不同含义,为数据分 析员分析日志带来了一定的难度。 日志数量巨大。因为在日志管理系统中,最典型的应用场景是主机日志 记录的是有关自身设备安全的信息,每台主机往往有多种日志产生,日志的数量 是相当庞大韵。许多日志每天都在不停地记录,所以总的日志数据量是非常惊人 的。这会影响日志的存储和日志的审查回顾。 日志的分布式特性,不一致的日志格式,日志的数据量都成为日志管理系统 中日志产生和存储面临的巨大挑战。 本项目设备中产生的日志都是基于的统一标准日志格式,解决 了由于日志格式不一致,导致的一系列问题。 ..日志保护 因为日志包含了系统和网络安全的信息,所以有必要对它们进行机密性保护 和完整性验证。例如,日志可能会有意或无意的捕获到敏感信息比如用户密码和 电子邮件的内容。这就提出了安全和隐私问题,包括审查日志时可能通过授权或 未经授权的手段访问。日志存储和日志传输不够安全的话,也可能容易受到有意 和无意的破坏。 在日志管理系统中,需要保护日志的可用性。很多日志有存储大小的限制, 比如存储量为条最近发生的事,或者存储量为兆字节。当数据量超过存 储量时,日志可能会用新数据覆盖旧的数据或完全停止记录,两者都将导致可用 数据的丢失。为了满足日志可用性的要求,常常采用日志文件备份,因此必须建 立日志归档流程,管理较长时间的日志文件的副本。因为日志数据量巨大,可能 在某些情况下,通过过滤方法减少归档日志的数据量,当然归档日志的安全性也 不容忽视。 一 本项目中采用多种方法保护日志的安全性。首先远程传输过程中,运用 通道,采用安全传输机制。第二,志存储在数据库中,对数据库进行管理 和维护。第三,有备份服务器存储日志数据,防止由于意外,数据丢失。以上几 条措施,能有效解决日志安全问题。 ..日志分析 一般来说,网络和系统管理员常进行日志分析的工作,研究感兴趣的日志条 目。相对于其他事情,如处理运作上的问题和解决安全漏洞等需要快速反应的事 情来说,管理员通常认为分析日志是一个优先级低的任务。此外,管理员通常没 有采用有效的工具例如,基于主机的入侵检测产品,安全信息和事件管理软件, 进行日志的自动化分析。人们可能不容易看到事件的关联性,比如基于同一事件, 产生的多条口志,而使用合适的工具却能很好的帮助人们,寻找规律。另外,许 多管理员认为,分析日志是件很无聊且费时的事,却没有多大的用处。日志分析 被认为是事件发生后才去查原因,而不是用来预知事件发生的方法。传统上,大 多数记录的日志,被实时或接近实时的方式进行分析。如果没有正确的流程,日 志的价值将显著降低。 本项目所做的日志管理界面,能更好的帮助日志分析员,减少工作量,提高 工作效率。另一方面,项目投入实施后,会对管理员进行指导培训,使他们更好 地管理日志。 .日志管理策略 组织首先应该明确日志记录内容和检测的要求和目标。这些要求 应该符合所 有的法律规定和规章 制度 关于办公室下班关闭电源制度矿山事故隐患举报和奖励制度制度下载人事管理制度doc盘点制度下载 。这些目标应该是根据平衡执行所需时间和资源使用量 之间的矛盾而确定的。这些要求和目标应该作为企业建立一个合适的日志管理系 统的基础。 组织应该制定政策,下面给出了日志管理的方面几个建议: 日志产生 哪些类型的主机必须或者应该进行日志记录 .主机的哪个组件必须或者应该进行日志记录例如,操作系统,服务程 序,应用程序 各个组件哪些类型的事件必须或者应该进行日志记录例如,安全事件, 网络连接,身份验证尝试各种类型事件的哪些数据特性必须或者应该进行日志记录例如,身份 验证中的用户名和源?地址 各种类型的事件必须或者应该进行的记录频率例如,每分钟记录一 次,每条记录一次 日志传输 哪些类型的主机必须或应该传输到日志管理系统中 哪些类型的日志条目和数据特性必须或应该传输到日志管理系统中 日志数据如何传输例如,遵循何种传输协议,包括适当情况下,外 力协助传输例如脱机的系统 从主机到日志管理系统中,日志数据应该多久传输一次例如,每分 钟,每小时 如何在传输过程中保护各种类型数据的机密性、完整性和可用性,比如 是否应该采用一个独立的网络 日志的存储和处理 日志应该多久轮询一次 在存储过程中,如何保护日志的机密性、完整性和各种日志数据的可用 性主机层面和系统层面都需考虑 各种类型的日志数据应该保留多长时间主机层面和系统层面都需考 虑 如何处理不需要的日志数据主机层面和系统层面都需考虑 存储日志数据需要多大的空间主机层面和系统层面都需考虑 如何保存日志,比如规定要求,处理更改和被破坏的日志, 对受到影 响的日志,必须进行标识,再存储和保护 日志分析 各种日志数据应该多久处理一次主机层面和系统层面都需考虑 规定日志访问权限主机层面和系统层面都需考虑,以及如何访问这 些日志一一 当发现可疑活动或异常时,应该采取何种措施 如何保证日志分析结果在存储过程中的机密性、完整性和可用性例如 警报,报告 . 由于粗心大意导致敏感信息泄漏如密码或电子邮件中的内容,应该 如何处理。 制定的策略应该基于日志管理系统能够解决的范围内。 组织应该确保其他符合功能和操作要求的程序,指导方针,能加入到日志管 理系统中。一个例子是,确保采购和定制的应用软件考虑到日志管理的要求。表 格.列举了日志配置的各种相关策略。这只是参考,确定哪些是合适的并遵守 法律和法规。在表格中定义的值适于主机及主机组件层面。 表.口志配置相关策略 类别:. 低冲击系统 适度冲击系统 高冲击系统 保留日志时间 .个星期 .个月 ?个月 多少时间轮询一 可选至少每星期 .时或. .分钟或 .一 次 或每 日志数据从主机 时 .分钟 起码分钟一次 传输到日志管理 系统的时间问隔 日志数据的分析 .天 ?时 一天至少次 多久执行一次手 动或自动的方法 是否需要对轮询 可选 是 是 日志进行完整性 检查 轮询日志是否需 可选 是 是 要加密 从主机传输到日 可选 是,如果方便的话 是 志管理系统的过 程中,是否需要加 密,或开设个单独 的网络通道日志安全管理系统关键技术 本章先介绍了日志管理协议,包括日志管理规范和日志协议实现,然后介绍 日志各个环节,包括日志产生和采集、日志传输、日志存储、日志分析和日志呈 现所用到的关键技术,并从项目实际情况出发,选择合适的技术,为后面的设计 和实现打下坚实的基础。 .日志管理协议 日志用途越来越广泛,为了增强各种设备,各种产商之间的交流,日志管理协议应运而生。 指定了日志标准协议, 在此框架内,有众多的日志实现软件,下面具体介绍协议和软件。 ..日志管理规范 在世纪年代,作为的一部分, 开发出,最 初仅用于。事实证明,它是如此有价值,其他应用程序开始使用它。 日志已经成为和类系统标准的日志解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。在其他操作系统中,也有 多种实现,同样,它也用于网络设备中,比如路由器。 志做为一种事实上的标准,却没有任何权威发布的规范,在很多 实 现上是不标准的,有些甚至是不相容的。 在中规定了日志协议标准。自从协议规范出来后,统一按照标准来实现。 由于的简单方便实现,在各种设备上广泛使用,它也暴露出来一些 安全问题【】,引起人们的关注。直的出现,代替。 协议的改进目标是解决日志安全和完整性问题,以及规范化协 议、日志传输和选择一种机制可以减少由于协议版本带来的差异,增强兼容性。 需要考虑的问题有以下几个方面: 现在有各种各样的字符集,不处理好字符集的问题,给互相交流通信带 来麻烦,另一方面,需要很多的代码来区分和解释不同的字符集,所以在新的日 志协议中考虑到这一点。传统的日志协议采用作为传输机制,安全问题越来越明显,虽然 对此进行了补充,但这样的日志表述很不规范,不利于扩展。 习中对这两个方面进行了考虑,它的日志消息格式的一些规定如下 表一所示。表.日志格式规定? ? ’””’ 。 .. : 一 /宰 蛆 / /:: . /:: /?””? ?’一””一” ? : ? :?,?,,:/ ? ? ?”:””:’? ? ? :? ? :? ? :? ? ’.” ? ””/ ”/”一””:”? ?。/?? ””木 ”” ? ?””% % ? 肼肛 啪 :一吣娃/?:? 一一 %.. 一一 % %% %? %/对于第一个问题,,采用在日志头部增加版本域的方法。规定:版 本域必须能够表示所有新增的日志协议版本和其对应的头部格式。版本域中版本 号