九游老哥云
洞见RSA 2021｜大数据场景下的清静数据剖析及威胁模子构建
2021-05-26
RSA 2021准期在线上举行，大会主题为：Resilience（弹性），强调可恢复性和结实性。该主题在现在天下疫情导致的杂乱大配景下很是贴切，这或许也是黑客&威胁、危害治理相关内容在本届主题中占比最大的缘故原由之一。虽然，作为具有天下影响力的信息清静大会，古板清静所关注的一系列相关问题仍是讨论热门。许多参展厂商针对清静领域一连关注的课题提出了自己的思绪，其中大部分是再次强调已往实践验证有用的乐成履历和要领，另一部分则是立异实验。
大数据场景下，威胁数据剖析和威胁狩猎一直是国家相关羁系部分和企业主要的清静应用场景，也是RSA一定会涉及的主题。内容往往涵盖宏观的威胁框架和营业流，以及详细的行之有用的算法应用和数据处置惩罚要领等。九游老哥君通过梳理本届参展厂商汇报演讲内容，对海量数据配景下部分厂商的数据处置惩罚剖析和威胁模子构建思绪举行总结。
一. 海量多模态数据的处置惩罚要领
大数据场景下，威胁清静剖析一最先需要面临的问题就是怎样有用处置惩罚接入的海量告警。在一个典范的大数据场景下，接入的数据往往是海量且异构的。
这一阶段的焦点诉求在于，一方面希望接入一切能够接入的数据以包管威胁特征的完整性，这些数据通常包括终端数据、种种网络流量探针数据、威胁情报甚至研判职员发出的相关日志等。而另一方面，又希望接入的数据能够获得有用整合和筛选，凸显出真正值得关注的少量数据，从而包管威胁特征的有用性。一定水平上这两个需求相互矛盾，但使用行之有用的范式化要领和特征关联筛选之后，仍然可以同时被知足。
来自Fortinet 的Roy Katmor和Udi Yavo在演讲中列出他们在数据处置惩罚阶段的一些要害办法，包括数据范式化、特征提取、关联和富化。
IBM的Xiaokui Shu和Jiyong Jang在先容他们的开源项目Kestrel时，将他们的威胁狩猎营业流界说为2个要害环节：多模态告警数据的模式化，以及基于该模式的剖析模子。
需要指出的是，Xiaokui Shu所说的多模态数据的模式化是基于威胁特征层面的模式化，而非是简朴的数据(record)层面，这是他们后续举行基于实体（entity based）的威胁剖析模子构建的基础。
别的，基于初始数据举行有用的关联扩展（Scoping）和上下文的富化（conetxt enrich）可以有用增补更多的威胁特征，以支持后续威胁模子的训练和推理。
在怎样有用聚焦和筛选数据方面，Stamus Networks的两位专家给出了他们的思绪。
首先，他们以为可以基于真实的详细威胁源、C&C等类型，或者一系列TTP层面的要素组合方法举行筛选，而非简朴凭证量化的危险水平筛选。另外，从目的资产视角来举行筛选也是不错的思绪。
综上所述，大数据场景下的海量多模态数据处置惩罚思绪可以总结为几个要害环节：多源数据的收罗、数据的范式化、数据的特征富化以及基于特征的筛选。每一个要害环节的详细做法往往依赖于详细清静营业场景和需求，更取决于后续威胁模子的详细数据要求。
二. 威胁模子构建要领
大数据场景下的威胁模子构建往往绕不开种种人工智能算法的加入，但与昔时机械学习（尤其是深度学习）刚取得突破性希望时“机械学习无所不可”的气氛差别，近年来，包括信息清静在内的各个行业关于人工智能，特殊是机械学习的局限性等问题越来越清晰，Fortinet 的两位专家在他们的《Applying Artificial Intelligence to the Incident Response Function》中就指出，在事务响应方面AI不可完全取代人工。
因此，现在绝大大都研究职员不再盲目信托智能算法，而是转而追求人工深度加入的“半智能”要领，将专家知识和智能算法举行团结，从而提升算法的可控性和可诠释性。
Fortinet的两位专家通过在分类模子的训练数据中引入模拟攻击数据来进一步增强对分类模子的人工干预，并基于细化的威胁特征场景来进一步构建差别的分类模子，降低对分类模子的太过依赖，提升分类模子的可控性。
而IBM的Xiaokui Shu和Jiyong Jang则提出了另一个相对较为新颖的思绪：基于行为特征构建的威胁实体，团结专家构建剖析模子举行推理。
这个要领有一个条件，就是前文提到的使用行为特征模式化多模态数据，将海量多源异构数据转化为威胁实体，从而能从靠近行为的层面举行关联推理。
他们还进一步提出，可以参照STIX的框架举行对应，将STIX中的域工具和关系工具对应威胁实体和推理天生的关联边，从而极大地提升模子的共享和导入能力。
三. 九游老哥科技相关研究
九游老哥科技平行实验室一直一连关注大数据场景下多模态数据的感知明确和威胁模子构建方面的研究。与上文所先容的几个厂商的研究者要领类似，我们基于对威胁清静的认知，构建了九游老哥科技威胁清静知识图谱，并基于图谱本体，将大数据平台接入的多模态数据范式化明确为威胁实体，依托知识图谱生涯的威胁语义知识，在实体层面扩充并关联事务语义，团结专家知识和攻击链等模子对事务举行整合及筛选。
在威胁模子构建方面，通过抽取事务及相关上下文语义特征，与图谱中APT组织、恶意代码家族举行特征向量相似度盘算，对威胁事务的攻击团伙举行归因。
别的，九游老哥科技构建以威胁源为焦点的特征图模子，并使用图盘算举行多次迭代的聚类，从而发明隐藏于海量事务中的团伙运动。团伙特征也会在简朴研判之后生涯至图谱团伙知识库中，团伙知识库同样支持STIX名堂的导入和导出。
四. 小结
通过梳理本届RSA中大数据场景下的数据剖析和威胁模子构建相关方面的研究汇报，我们发明一些古板的思绪没有改变，如尽可能接入可能包括威胁特征的多源数据，在保存威胁特征的条件下举行数据的范式化和筛选等。威胁情报引入、上下文语义的富化等处置惩罚要领也逐渐被更多厂商提及。
另外，值得一提的是，随着业界关于包括机械在内的人工智能算法的明确逐渐趋于理性，险些不再看到纯粹依赖人工智能算法支持清静营业的情形，更多清静研究者正在思量进一步剖析清静营业，并增强专家知识的自动干预，从而在有用使用人工智能算法高效处置惩罚能力的基础上，提升算法的可控性和可诠释性。
