我是Q公司的安全工程师，最近q公司不太平静，发生了好几次安全攻击事件。但是，之后我找不到被攻击的真正原因，所以领导命令我，必须检测和追踪攻击事件，否则就可以卷起盖子回家。听了这番话，我冷汗连连，找出了最近几次攻击的记录文件，仔细剖析了没有发现真相的原因，总结如下：系统没有记录日志:有些系统没有日志信息。日志信息没有备份:日志被攻击者删除，或者因为存储空间不足而被删除，没有备份日志。收集维度不详细:日志格式为默认配置，不够详细，不能从中提取太多有效的信息。收集信息不准确:类似IP等用户识别维度的信息不准确，无法定位攻击者。记录结果不统一:相同字段在不同日志中类型不统一，无法与日志联系。

找出原因，我知道要解决这些问题，必须实现统一的日志分析平台。有了这个平台，下次面对攻击的时候就不会那么黑了。我说的目的。建立统一日志分析平台，我首先要向领导汇报，得到领导的支持。首先要向领导说明建立统一日志分析平台的目的。在企业内部，日志分析是一项非常基本的核心技术，它不仅应用于安全团队，而且应用于IT研发团队不同的目的是:从安全角度来看:安全团队提取日志分析主要是为了发现未知安全事件，追溯已知安全事件。另一个非常重要的目的是国家监管法规的要求。就IT研发而言：企业内部的非安全技术团队做日志分析主要也是为了发现位置问题，分析已知问题，主要集中在：系统监控，APM(APM包括所有研发团队关注的监控项目)。就业务而言：业务团队对日志分析的需求，主要集中在风险控制、运营推广、用户画像、网站画像等方面。日志躺在硬盘上没有价值，可以通过日志分析技术实现日志信息的价值化。日志价值越高，反映公司的技术实力。日志分析的更新。日志分析不是一项新技术，虽然现在有人给它换了很多新衣服。但是对于只有小安全团队的公司来说，不要追求高大的地图炮，需要的是实际解决问题的思路或工具，哪怕只有20行的命令脚本。自古以来，我就把日志分析经验分为四个时代:

石器时代:在这个时代，人们在分析日志时更依赖Excel、终端命令(awk、grep、sort、uniq、wc等)。)。在这里，我建议你阅读Web日志安全分析技巧，浅谈Web日志安全分析，其中提到了使用命令进行安全分析的案例。铁器时代:在这个时代，人们在分析日志时更依赖脚本工具(自写工具)、简单的交互工具(logwatch、logparser)等等。产业时代：这个时代大家在做日志分析的时候相对于前两个时代已经有了很大的进步，各种开源，免费，付费的软件都可以选择，比如：Elastic系列，Splunk，ArcSight等等。未来时代:在这个时代，我不知道做日志分析会用到什么，但从目前的角度来看，机器学习和人工智能应该是核心之一。

我是这样想的：无论我们处在哪个时代，过去的思想和工具都是不可替代的。由于这是一个时代经历了优胜劣汰后留下的优秀产品，新时代的产品本质上也是经历了长河演变而来。