2015 RSA Threat Intelligence 小观察

2015年RSA号称史上最大规模的一届展会,统计超过500家参展商和3万名参会人员,作为全球安全厂家show,rsa本身不会有非常技术性的深入探讨,但观察一些热点的行业技术点仍然是非常上佳的机会。 今年的绝对热点应该算的上是threat intelligence(威胁情报),展区各不同领域技术的厂家几乎都有往threat Intelligence概念上靠的代表,如splunk,直接宣传自己是”“the threat intelligence company”,又比如老牌公司ibm,提出新口号”Intelligence is the new defense”,展区内,有钱任性做现场demo的厂商几乎都在某种程度上强调和展示威胁情报相关的能力,相当多的厂家还把这种能力转换为2D或是3D的图形的来吸引眼球。

业内比较正式的Threat Intelligence解释是由Gartner 2013年定义的,如下

“Evidence-based knowledge,including context,mechanisms,indicators,implications and actionable advice about an existing oremerging menace or hazard to assets that can be used to inform decisionsregarding the subject’s response to that menace or hazard.”

也许用简单的话可以概括为: Threat Intelligence是可用于有效应对的基于深入感知的信息;

个人认为,从攻防这个具体点看,经过这么多年的发展,安全已从婴儿期逐渐开始成长,而生态圈里的用户和玩家早晚会意识到:

1:攻击不会消亡,新的攻击点和攻击方式会持续出现,也许在广义上和上线资源数量会维持在一个相对平衡和稳定的比例水平。

2:防守方的各种软硬件资源,如防火墙,ids等硬件盒子,扫描器,siem等软件产品作为一个个单点技术被攻破和绕过会是一种常态。此外很多(大部分?)时候防守方无法感知自己的安全手段是否已被攻破和绕过。

在上述大前提下,无论具体用户还是厂家在继续强化一个个具体的头疼医头脚疼医脚单点防御技术点外,将目光也许会开始逐步转向上层的“面”上,比如是否具有“看到的能力”可能是未来的一个重要方向:具体软硬设备是“点”,配置策略是“点”,日志是“点”, 一条条的具体告警也是“点”,能够”connect the right dots”(注意不单是connect thedots)才是最终诉求。 举个现实例子,去年爆出NSA入侵国内某电信设备巨头,NSA自己的文档称他们拿到了太多的数据都不知道该拿这些数据干嘛了(We currently have good accessand so much data that we don't know what to do with it)。NSA这么干的诉求之一应该是通过该巨头看到它想要看到的东西(注意攻方追求的同样也是看到的能力)。从防守角度来说,该巨头拥有专业的运维队伍和良好的安全资源,但是依然没有发现被NSA入侵,也正是因为真实的看到的能力的缺失。这也许是安全圈里面那句流行的“世界上只有两种企业,知道自己被黑的和不知道自己被黑的”的一个佐证吧。

在上述大趋势的情况下,威胁情报作为看到的能力的一个具体体现, 重要性自然逐步突显出来。

本次rsa,不少厂家都宣称自己是threat intelligence这个领域的成功者,而且他们乐于给围观者一种感觉,他们有个神奇的threat intelligence魔力盒子,输入端丢给他们大量的数据,通过机器学习也好,关联分析建模也好,可视化也好,情报就自然会在另一端输出产生了,实际真的是这样么?

举例来说:

我们看到有将大量的日志告警以可视化方式展现的厂家, 并宣称这就是threat intelligence。这个是业内目前流行的做法之一,而且国内跟进的很快。仔细推敲:当厂商对大量的日志告警无法理解,绝大多数都是垃圾消息的时候, 以图形展示并不会消减任何具体告警,垃圾消息还是垃圾消息,只不过以可视化的形式展示了而已。更加重要的是,在具体的告警日志中往往不可能有真正需要的“那一条”, 对此可视化不能提供任何帮助。

又如近期业内某风头强劲的新兴threat intelligence公司,主要的数据来源是蜜罐采集到的扫描主机等信息。由于采集信息方式的先天工作原理和局限性,从而决定了能提供的intelligence有限同时浅层。对用户来说,使用场景基本上局限在有限防控存在大规模扫描行为的主机系统等,而对稍微深入的攻击行为难以提供缺失的数据支撑。 APT等天然的lowprofile的攻击这里就更不用提了。

又如, 有将大量公开和非公开黑数据源进行收集,整理后统一格式提供情报的企业, 也给自己打个标签是threat intelligence提供商, 这种做法的问题更多, 除了完全依赖第三方数据的弊病外,数据的准确性,有效性和及时性是大问题。今年2月M3AAWG内部会议UAB和Malcovery联合出品的垃圾邮件报告提到,他们6天监控期间收到的55万个恶意垃圾邮件域名中60%的域名生存期小于1天(内部资料无法共享link)。2014年blackhat一个报告,对三家知名黑数据提供商的审核显示3家数据仅有1%的重合(https://www.blackhat.com/us-14/speakers/Ryan-Trost.html)。2014年针对短域名服务提供商bit.ly提供短域名服务分析的研究paper研究显示绝大多数恶意域名(超过83%)在5个月内就会失效(http://arxiv.org/abs/1406.3687)。根据我们自己的观察,很多恶意域名和ip的生存周期存活时间其实可以以小时计,此外从实际数据看,如果无条件信任外面的数据源,一定会有大的“惊喜“,比如直接封堵8.8.8.8,google,baidu,sohu,youku,ppstream,alipay,360,qq等很多所有的互联网流行大站。

再比如,一些传统的设备厂家,由于设备的全本地工作机制,视角狭窄,同时几乎无法有效整合数据,intelligence也自然成为无源之水。本次rsa上传统的防火墙公司fortigate等开始大肆的砸物理盒子,也许显示了传统手法决裂的决心?

又比如,一些手里有大量数据的公司, 虽然有数据,但是找不到窍门,不会选,不会用手里的数据,往往把自己淹没在数据的海洋里,陷入细节中无法自拔,这个时候海量的数据反而成为自己的负担。值得注意的这个是很多试图转型threat intelligence公司会遇到的问题(国内比如全流量无差别收集和分析)。

最后又如,一些没有实操经验的公司,喜欢把threat intelligence和一些高大上的词组绑定,如“海量的数据通过机器学习实时产出崭新而又精准的高级威胁新数据”,这个外行听了觉得高大上,但实操过的一听就知道是胡扯。此外,安全和传统的成熟机器学习领域有细微不同,推荐系统有点偏差没关系,但是安全相关的偏差容忍度很低(根据机器学习的结果,这个新的google子站是黑的,封堵了它如何?:) )

个人认为,threat intelligence这个领域刚刚开始,大家都在摸索阶段,所以当面对号称已完全精准实现threat intelligence的厂家还是要留心。其次,threat intelligence无论是现在还是未来,恐怕都不会像厂家宣传的那样神奇,成为所谓的silver bullet。但另一方面,对会用和用对的用户来说,它的确是防守方武器库里的一个新的武器,可以成为一个很有用的新维度。

中短期内, 如下两个分支可能会产生比较有意思的应用:

1:基于大量已有数据加机器学习之上的大规模分析和预测,目标是快速实时的收割所谓lowhanging fruit的确定性数据,为用户提供浅层但是实时的数据。

2:基于大量数据加专家团队的深层次情报分析应用,这里面threat intelligence可能起到的作用更多的是提供有限但是关键的线索,然后依靠专家团队来拼出完整的故事。

最后,我们以15年rsa大会rsa现任主席Amit Yoran大会开场keynote专门制造的几乎40秒全场漆黑的场景下说的第一段话来结束本文,

Since the beginning of time,humanity has been afraid of the dark. And with good reason. We fear the darkbecause evolution has hard-wired us to be suspicious of it,or more specifically,suspicious of the potentialthreats that may await us in the darkness. We can hear noises and see shadows,but without being able to see our surroundings,we don’t know if those sounds and shadows represent danger or not,let alone how to respond.

beingable to see our surroundings,threat intelligence只是第一步。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容

  • **2014真题Directions:Read the following text. Choose the be...
    又是夜半惊坐起阅读 8,592评论 0 23
  • 西红柿渐渐熟了!最后被我家的熊孩子画上了背景,本想再继续画下去,纸质被破坏了,只能停止! 本是一种画法,没想到却像...
    一泓清莲阅读 677评论 0 4
  • 三 事无两样人心别 卓云就这样进了门。 三个月过去,那红灯便整整九十日挂在卓云房门上。毓如身边的下人明里暗里都在鄙...
    籽盐阅读 770评论 0 1
  • 最近迷上了法语歌曲,性感,迷人,让人不禁想起“性欲”这个词。说到法国,第一想起的也是法式深吻,缠绵,激烈,热情。 ...
    阿喵丫127阅读 284评论 1 1
  • #互联网创新之新产品过三关# 任何新的互联网产品在设计初期总会认为非常了不得“我有一个超棒的主意,就差一个写程序的...
    李灵军阅读 136评论 0 1