1 背景

随着近些年来互联网的大力发展，网络上的各类攻击及互联网威胁变得越来越多，攻击事件数量急剧上升。从硬件到软件，从系统到网络，从服务器到移动终端，攻击逐渐深入到各个领域，简直无孔不入，同时高级持续性威胁对各类核心系统及网络都造成了非常大的威胁，企业的网络、信息系统、数据都面临严峻的挑战。

为了不断提高信息安全保障能力，根据国家公安部2015年颁布了《关于加快推进网络与信息安全通报机制建设的通知》文件，进一步明确了网络与信息安全信息通报机制的建立、网络安全监测通报手段和信息通报预警及应急处置体系的构建。因此，搭建网络安全预警平台，实现数据采集与分析、对网络的安全监测、发布预警通报、应急处置、态势分析展现、资产管理和事件处理整改是十分必要的。

2 建设目标

基于电力行业网络结构及安全防护现状，通过对网络流量和网络设备日志分析的信息安全预警技术研究，设计基于大数据分析的网络信息安全预警平台，实现日志与流量数据采集、数据分析、安全态势分析及展现、实时监测、安全预警、安全事件处置与管理、资产管理等功能，完成对网络中的安全风险进行有效的监测和分析，健全网络与信息安全事件预警工作机制，为网络安全预警及处置提供判断依据，提升整体网络威胁监测水平。

3 功能需求

3.1 数据采集及存储

获取网内各类设备的数据信息，实现对结构化及非结构化信息的采集；支持多种类型的日志数据、流量数据的接入；日志采集方式支持Syslog、ftp、snmp等协议；流量数据通过流量探针及镜像方式进行采集；系统自动对数据进行规范化处理及统一存储。

3.2 日志分析

根据分析结果得出威胁事件；支持复杂模型的分析能力；对安全威胁事件可以自动化生成；具备对原始日志数据保存、综合查询能力。

3.3 流量数据分析

通过流量数据分析发现可疑行为；支持流量数据的查询、统计能力，具备多种统计形式。

3.4 安全态势展现

对网络安全情况的态势进行多个维度、多种图形方式的展示，如饼图、趋势图等；支持对安全事件、日志数据、设备资产等数据的多维查询及统计结果展现。

3.5 实时监测

具备攻击威胁检测能力、攻击识别能力；可进行用户追踪调查，进行来源定位；具备机器学习分析检测模型。

3.6 安全事件管理及关联分析

为用户推送安全事件，能够进行事件处理，并支持批量处理。

3.7 预警管理功能

可发布预警信息、管理预警信息状态、分析所产生的影响。

4 关键技术

4.1 网络流量分析技术

在流量中解析应用层内容，对通用漏洞进行检测，针对跨站点脚本攻击、缓冲区溢出攻击、恶意浏览、SQL注入、命令注入等这些攻击常见检测方式就是特征匹配，但往往检测不够全面，在检测基于通用漏洞攻击时不能仅仅依靠特征库，需要抓取网络中的流量，根据协议类型对流量进行分析。基于HTTP的报文，利用多种解码技术，深入分析协议报文中的Web地址、请求头、协议类型、URL格式及Cookies等信息，通过对所有报文头和内容进行合规性检测，发现各种非法的畸形数据包报文。

4.2 异常访问定位技术

对异常访问的分析及检测，有效的发现正在攻击的行为。如：针对C&CIP/URL的访问、针对扩散式访问的特征、针对高频度的扫描行为。利用此类网络行为分析技术来定位攻击特征，可以有效地检测出基于流程的攻击行为。

4.3 Web攻击深度检测技术

对HTTP协议的完整性、恶意URL、恶意IP访问、Web传输恶意文件行为进行检测，发现各种异常访问行为。根据全面成熟的Web攻击检测特征库，对所有已知Web漏洞利用的攻击行为进行检测。针对利用Web发起的Webshell上传和利用行为进行检测。对Web行为进行动态关联分析，分析一段时间内Web服务器的所有请求和返回数据，通过对正常和恶意行为进行模型分析，快速判断各种隐蔽的Web攻击行为。

4.4 DGA检测算法分析

APT通过对DNS协议解析实现DGA域名检测算法。DGA（Domain Generate Algorithm，域名生成算法）域名常用于僵尸/木马的C&C（Command & Control，命令与控制）通讯，一般是用一个私有的随机字符串生成算法，按照日期或者其他随机种子，每天生成一些随机字符串然后用其中的一些当作C&C域名。在僵尸/木马程序里面也按照同样的算法尝试生成这些随机域名，然后碰撞得到当天可用的C&C域名。通过检测网络流量中的DGA域名，可以有效定位网络内部已经被僵尸/木马控制的主机。

4.5 恶意文件分析技术

通过常规恶意代码扫描技术分析已知特征的恶意代码，确保已经公布的恶意代码可快速发现。通过二进制分析技术发现文件中的恶意代码。大部分的高级攻击都使用未公布的漏洞或免杀的木马等，此类文件无法被有效地识别。利用二进制分析技术，可以发现可能存在的恶意代码攻击。

4.6 威胁情报分析技术

提供更为深层的威胁分析服务、安全预警服务和情报共享服务，依托于云端的海量数据、高级的机器学习和大数据分析能力，及时共享最新的安全威胁情报，提供更为精准的威胁分析能力，也可直接访问云端，上传、查询和确认样本的分析结果，感知最新的安全态势。

5 平台设计

5.1 技术架构

对于大数据安全分析最重要的在于如何基于当前大数据基础平台进行安全分析设计，充分利用大数据基础平台为安全分析服务。整体方案在于安全分析模块的设计和大数据基础平台对接接口设计。大数据分析平台主要解决多源异构复杂安全类数据的采集、汇聚、处理、治理、存储以及为上层应用提供各类计算能力和数据服务能力，平台依赖于大数据基础平台的数据，同时也可对更多类型的数据来源提供接口。

5.2 功能架构

平台主要由功能呈现层、场景分析层、安全数据中心SDC层3个层面组成。

功能呈现层包含了安全威胁分析与预警平台的主要用途，包括安全态势展示、安全告警监控、安全预警监控、安全威胁情报管理、安全态势大屏展示，同时提供原始日志与标准化日志的智能搜索功能，以及本平台的系统管理入口和相关接口。

场景分析层定义了安全威胁分析与预警平台的分析方法与分析能力，其中分析方法采用了分析引擎、分析场景、分析输出的分别定义，分析场景包括适用于外部攻击分析的网络威胁分析场景、系统安全分析场景、用于内部威胁分析的用户行为分析场景以及为本项目平台提供建模分析能力。

安全数据中心层实现各类安全数据的采集、处理、存储、检索能力。安全数据中心层以接口形式向安全威胁分析与预警的分析提供输入数据，同时接口也供其他安全能力开放。

5.3 功能设计

5.3.1 数据采集

采集的数据源为网络系统全量数据，包括网络流量、日志数据、资产信息、组织架构、安全域等；数据支持采集方式包括镜像抓包、Syslog、FTP、SNMP Trap、文件、JDBC、WebService、Agent等。

5.3.2 数据预处理

5.3.2.1 安全日志过滤。采用ETL对数据统一清洗，ETL在数据清洗环节，根据校验规则，对数据的字段空值约束、字段值类型约束、数据的结构约束（是否字段缺失或者不对），均进行校验处理。在数据转换环节，对数据字段进行字段一致性、字段值转换。清洗和转换环节，对数据的正确性和有效性进行保障。同时通过日志等级对海量日志进行过滤，或根据自定义配置将用户不关心的日志过滤掉，收集到的重复的日志进行自动的聚合归并，减少日志量。

5.3.2.2 流量数据分析。通过流量探针对网络的流量文件进行旁路镜像采集、审计和还原，还原后的流量日志会加密传输至安全大数据中心。流量探针支持全协议审计，包含网络第2层至第7层数据流量，并支持特定的协议或IP进行自定义检测以及支持自定义IP地址、URL、域名与文件的访问监控。

5.3.3 大数据分析

在很多安全应用场景中，数据的价值随着时间的流逝而降低，在平台中对正在发生的事件进行实时分析是十分必要的。因此，平台应具备高效低延迟数据处理的特性，并内置丰富规则策略库及大量安全分析场景，以便平台更好地开展大数据分析工作，及时发现最可疑的安全威胁。

5.3.4 深度感知智能引擎

深度感知智能引擎对多维度的信息和多源数据进行整合、关联、智能分析和预测，帮助安全人员做出最精准的判断和调查，从而提高用户对威胁攻击的发现、防御和调查能力。

5.3.5 大数据交互式分析系统

解决复杂业务场景的安全分析需求，满足持续威胁事件的分析和溯源，解决复杂数据的存储、查询、分析需求，对存储下来的数据进行交互式分析，通过多次查询分析，逐步逼近问题，最终解决分析问题。

5.3.6 多维度可视化展现

平台应具备多维度可视化展现模块，能够有效地从多个维度，使用各种可读性高、美观的可视化系统，展现安全态势，为研判、决策及保障网络安全提供有效的支撑。

5.3.7 攻击威胁预警

通过态势与预警平台，关联分析多维大数据，发现网络中存在的安全事件、安全风险点，并进行实时安全威胁预警。通过工单流程的机制落实威胁攻击预警，实现威胁和安全事件的快速通报预警。

5.3.8 资产管理

将所有入网的网络设备、安全设备、服务器及其之上承载的操作系统、数据库、应用系统、接口方式、硬件属性、使用维护人员等信息均作为资产管理的内容，提供资产录入、管理、变更等管理功能。

5.3.9 安全追踪溯源

实现基于安全告警和攻击者的追踪溯源功能，结合大数据关联技术实现对安全告警时间和攻击者的追踪与取证，并提供溯源报表的一键式智能下载。

5.3.10 威胁情报分析

威胁情报的应用是实现情报价值的关键，通过安全威胁分析与预警平台和威胁情报的集成，实现全网的基于威胁情报的协同联动，发挥平台与情报的最大价值。安全威胁情报管理用于支撑外部威胁的分析和定位，功能包括威胁情报获取、威胁情报输入与维护、外部资产发现和监控、情报关联分析。

6 结束语

通过网络安全预警相关技术的研究，结合网络结构现状，提出网络安全预警平台建设需求，完成预警平台的技术架构及功能设计，实现各类威胁对网络造成破坏和数据泄露的有效预警，提升攻击的有效检测和防护，最终达到预防网络威胁及攻击，进一步健全安全防护能力，为信息网络安全稳定运行提供技术保障。