日志对于大家来说非常熟悉，机房中的各种系统、防火墙、交换机、路由器等等，都在不断地产生日志。无数实践告诉我们，健全的日志记录和分析系统是系统正常运营与优化以及安全事故响应的基础。我们一起来认识日志采集分析审计系统。
一、什么是日志数据
1、日志的概念
日志数据的核心就是日志消息或日志，日志消息是计算机系统、设备、软件等在某种刺激下反应生成的东西。例如：Linux用户登录和注销、防火墙ACL通过和拒绝、存储系统故障等。
日志数据（log data）就是一条日志消息的内在含义，用来告诉你为什么生成日志消息的信息。日志（log）指用于展示某些事件全貌的日志消息的集合。
2、日志的类型
日志通用的几种类型：
- 信息（Info）:告诉用户和管理员发生了一些没有风险的事情。
- 调试（Debug）:在应用程序代码运行时生成调试信息，给软件开发人员提供故障检测和定位问题的帮助。
- 警告（Warning）:缺少需要的文件、参数、数据，但又不影响系统运行时生成警告。
- 错误（Error）:传达在计算机系统重出现的各种级别的错误。许多错误消息只能给出为什么出错的起点，要寻找出导致错误发生的根本原因还需要进一步的调查。
- 警报（Alarm）:警报表明发生了一些有趣的事情。一般情况下，警报数据安全设备和安全相关系统领域的。如IPS检测到了一个恶意链接，可能会采取任何预先配置的行动，IPS会记录下检测结果以及所采取的行动。
可以看到日志数据包含了系统运行的很多重要信息，了解日志、做好日志的分析审计可以很好帮助用户更好监控和保障信息系统运行，及时识别针对信息系统的入侵攻击、内部违规等信息。
二、为什么要做日志分析审计
1、满足法律法规的要求
国家的政策法规、行业标准等都明确对日志审计提出了要求，日志审计已成为企业满足合规内控要求所必须的一项基本要求。 2017年6月1日起施行的《中华人民共和国网络安全法》中规定：采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月。
《网络安全等级保护基本要求》（GB∕T 22239-2019）中规定：二到四级需要对网络、主机、应用安全三部分进行日志审计，留存日志需符合法律法规规定。
我国政府及相关行业已相继推出了数十部法律法规。如国家《企业内控基本规范》、国家《计算机信 息系统安全等级保护划分准则》同时银行、证券、通信行业均提出了相关标准及要求，确立了面向内控的信息安全审计的必要性。如：
《ISO27001:2013 》4.3.3小节、 《ISO17799:2005 》10.10小节
《商业银行内部控制指引》第一百二十六条 银监局《商业银行信息科技风险管理指引》
《银行业金融机构信息系统风险管理指引》第四十六条
《证券公司内部控制指引》第一百一十七条
《互联网安全保护技术措施规定》第八条
2、满足系统安全管理需求
当前信息安全形势日益严峻，信息安全防护工作面临前所未有的困难和挑战。日志审计能够帮助用户更好监控和保障信息系统运行，及时识别针对信息系统的入侵攻击、内部违规等信息，同时日志审计能够为安全事件的事后分析、调查取证提供必要的信息。
三、日志分析审计的挑战
- 日志数据量巨大，无法很好的管控
每类设备产生的日志量都是十分巨大，分析审计员无法对数量巨大的日志进行查看与管控。 - 日志数据格式各异，可读性差
不同品牌、不同类型设备的日志格式都不相同，分析审计员无法准确解读所有设备的日志。 - 日志数据存储风险，彼此割裂
各类设备分散在网络中的不同位置，分析审计人员无法及时有效的查看到存储于不同位置的日志。 - 日志数据无法关联，分析困难
当威胁产生时无法关联其他日志进行溯源分析，无法找到问题的源头从根本上解决问题。
四、日志采集分析审计系统的主要核心功能
对于前面的日志分析审计现状带来的挑战，很多企业购买或自建了日志采集分析审计系统。一方面满足合规要求，另一方面满足自身业务系统安全管理的要求。
日志采集分析审计系统，通过海量日志采集、异构设备日志范式化、安全事件关联分析等技术，实现日志全生命周期管理。协助运维人员从事前（发现安全风险）、事中（分析溯源）及事后（调查取证）等多个维度监控网络安全事件。
一般来说日志采集分析审计系统核心功能包括日志采集、日志存储、日志分析、日志查询、日志监控、日志事件告警、统计展示。
1、日志采集
系统应提供全面的日志采集能力：支持网络安全设备、网络设备、数据库、windows/linux主机日志、web服务器日志、虚拟化平台日志以及自定义等日志；
提供多种的数据源管理功能：支持数据源的信息展示与管理、采集器的信息展示与管理以及agent的信息展示与管理；提供分布式外置采集器、Agent等多种日志采集方式；支持IPv4、IPv6日志采集、分析以及检索查询；
2、日志存储
提供原始日志、范式化日志的存储，可自定义存储周期，支持FTP日志备份以及NFS网络文件共享存储等多种存储扩展方式。一般来说支持大数据技术的存储方式如ES等，日志数据存储需要满足不少于六个月。
3、日志分析
提供便捷的日志分析操作，支持对日志进行分组、分组查询以及从叶子节点可直接查询分析日志；
4、日志查询
提供丰富灵活的日志查询方式，支持全文、key-value、多kv布尔组合、括弧、正则、模糊等检索；
提供便捷的日志检索操作，支持保存检索、从已保存的检索导入见多条件等；
5、日志监控
在采集器维度对日志源情况进行实时监控，对日志源的基本情况及事件信息进行展示，提供日志监控能力，支持对采集器、采集器资产的实时状态进行监控。如发现某一采集器在一段时间内没有日志数据报送，就需要排查是否是源系统或网络传输出现了问题。
在平台维度对平台自身的组件进行实时监控，保障平台自身的稳定运行。支持查看CPU、磁盘、内存总量及当前使用情况；支持查看资产的概览信息及资产关联的事件分布；
6、日志事件告警
能够实现单事件的关联、多事件的关联分析；支持自定义事件规则，可按照日志、字段布尔逻辑关系等方式自定义规则；支持时间的查询、查询结果统计以及统计结果的展示等；支持对告警规则的自定义，可设置针对事件的各种筛选规则、告警等级等；
能够进行统计关联分析、时序关联分析、逻辑关联分析
统计关联：基于统计条件规则的关联分析，如某一事件重复出现多次。典型的如：暴力破解，在某一时间段某一相同账号频繁多次失败的尝试登录日志。
时序关联：基于时序的规则的分析，如发生某动作后接着发生了其他的动作。如：发生了在某一时间段某一相同账号频繁多次失败的尝试登录日志后，发生了一次成功登录的日志。就有可能怀疑是暴力破解成功了。
逻辑关联：基于逻辑的关联，如满足什么条件的情况下发生了什么。如：不是白名单的IP访问了某台设备等。
7、统计展示
支持丰富的内置报表以及灵活的自定义报表模式，按照日、周、月、年生成专项审计报告，支持实时报表、定时报表、周期性任务报表等方式；支持编辑报表的目录接口、引用统计项、设置报表标题、展示页眉和页码、报表配置基本内容（名称、描述等）；支持html，pdf，word格式的报表文件以及报表logo的灵活配置；可视化的交互界面能够展现当前审计情况，展现日志审计工作成果与价值。
通过对人员角色的定义，可根据角色定义监控的个人工作台，过滤关键重要的事件和监控指标，更加方便安全的日常审计工作，有效提升日志审计的关注度和时效性。
五、日志采集分析审计系统的价值
- 日志集中管控
日志采集分析审计系统可以帮助客户对海量日志进行集中管控，客户能够从日志采集、存储、分析、告警等环节参与日志全生命周期管理，有效解决日志分散、日志量大、日志格式不统一的问题，助力安全运维。 - 日志回溯与取证
日志采集分析审计系统能够对日志进行留存，支持回溯查询，有效解决事后追查困难、无法提供有效证据的难题。 - 监测体系构建
日志作为网络安全监测体系中比较重要的一环，可在信息获取和分析验证等方面提供技术支撑，当体系做出调整后，日志能够更加准确的反映出系统情况，助力企业网络安全监测体系构建，提升安全防御能力。 - 等保合规
日志采集分析审计系统平台支持大数据日志存储方案，可助力客户满足网络安全法、等保合规日志留存6个月的要求，同时支持灵活的自定义报表，可满足多样化的报表需求。
博客：http://xiejava.ishareread.com/
关注：微信公众号,一起学习成长！