1、(一)技术早期发展在SIEM 萌芽阶段,收集 IT 网络资源产生的各种日志,进行存储和查询的日志管理是行业主流。而建立在日志管理之上的 SIM4和SEM5就在这一时期出现。初代 SIEM 的定义也由此开启,2005 年, Gartner首次将SIM 和SEM 整合到一起,并提出了SIEM 的概念,为安全运营和管理揭开了新的篇章。此后,随着安全合规政策的出现,又衍生出了新一代日志管理技术LM6。LM与前者的区别在于,更加强调日志的广泛收集、海量存储、原始日志保留及安全合规,并借鉴搜索引擎技术实现快速检索分析能力。现代SIEM 的定义实质上融合了SIM、SEM、LM 三者,尽管各个厂商产品间的重点
2、技术能力略有区分,但以此为基础的大方向是一致的:即基于大数据基础架构的集成式SIEM,为来自企业和组织中所有IT资源产生的安全信息(日志、告警等)进行统一实时监控、历史分析,对来自外部的入侵和内部的违规、误操作行为进行监控、审计分析、调查取证、出具报表报告,实现IT资源合规性管理的目标。2010年后,伴随着安全运营的热度SIEM同样迎来蓬勃发展期,在市场占领和技术成熟度上都有了突破。2013年,SIEM全球市场规模达到15亿美元,相比2012年度增长16%,预示着SIEM 市场完全成熟且竞争激烈。同时,在合规要求下,SIEM的目标群体转向中小型企业,为了解决小型企业无力购买整体SIEM 解决方
3、案/服务、缺乏管理SIEM的专业员工等问题,SIEM 开始在产品形态、功能,还有商业模式上进行创新,推出 SaaS 软件即服务,进一步推动 SIEM 的广泛部署。(二)基础核心能力SIEM/SOC的核心功能包括了日志收集、跨源关联和分析事件能力等,SIEM在数据流水线的每个阶段都需要进行精细的管理、数据提取、策略、查看警报和分析异常。其中,SIEM的核心技术点包括:日志采集及处理SIEM需要从企业相关组织系统中广泛收集日志和事件,每个设备每次发生某事时都会生成一个事件,并将事件收集到平面日志文件或数据库中。SIEM 的任务是从设备收集数据,对其进行标准化并将其保存为能够进行分析的格式。在日志采
4、集后,SIEM还需要进行日志处理,即从多个来源获取原始系统日志后,识别其结构或架构并将其转变为一致的标准化数据源的技术。日志关联分析SIEM需要汇总所有历史日志数据并进行实时分析警报,通常通过分析数据建立关系,以帮助识别异常、漏洞和事件,这也是SIEM最关键的一项能力。传统SIEM 产品使用关联规则和脆弱性和风险评估技术从日志数据生成警报,但是这两种技术存在误报及新型威胁难以抵御地风险,因此部分头部SIEM 厂商积极应用实时关联分析引擎,分析数据包括对安全事件、漏洞信息、监控列表、资产信息、网络信息等信息,同时应用机器学习、用户行为分析等高级分析技术,着力提高SIEM的智能分析能力。安全产出S
5、IEM处于安全运营的关键环节,其应用目的之一便是帮助安全运营人员高效处理安全事件。因此清晰完善的安全产出尤为重要。例如根据安全事件产出相关报告,如人员异常登录报告、恶意软件活动报等,同时根据事件分析产生安全警报。SIEM 安全产出主要提供警报和通知、仪表盘、数据探索及API和WEB服务等能力。尽管SIEM 在事件分析和响应上已有成熟的体系,但近几年趋向复杂化、高级化的网络攻击依然对于以SIEM 为主要解决方案的安全运营提出了挑战。一是SIEM采用关系数据库技术构建,但随着日志数据源的数量增加,数据库的负载不断加重,限制了实时响应能力;二是SIEM 在运行中会产生大量告警事件,“告警过载”等于无
6、告警;三是SIEM 采用模式匹配引擎技术(签名技术)进行上下文的匹配,容易产生大量误报;四是SIEM 简单地将事件的严重程度划分为高、中、低,缺乏细致的决策参考,对企业网络安全专业人才的技能提出更高的要求。根据CMS Distribution 公司对企业安全运营的技术调研发现,传统的SIEM解决方案产生大量告警事件使得安全运营人员分身乏术,同时专业安全技能人才的缺失,使得传统SIEM 解决方案的平均寿命已经缩短到 18-24 个月,无法有效应对云计算、大数据、物联网、人工智能新时代的网络安全挑战。当SIEM 的不足开始凸显,企业的安全水位线难以被满足,也亟须SIEM 有新的突破以应对更高级的威胁。