一般来说,搜索引擎可以分为三个部分:信息收集模块、数据存储模块和信息检索模块。信息收集模块负责收集网络空间中各种设备的信息,数据存储模块负责储存收集到的海量设备信息,信息检索模块负责提供统计和查询服务。Censys的扫描模块会将检测结果保存到Zdb数据库中,所有的数据都是会储存在GoogleCloudRichrorafe中。采用弹性搜索提供全文搜索,谷歌商店提供历史搜索,谷歌大查询提供统计搜索。
Shodan和Censys的IP地址是随机生成的,不依赖第三方IP数据。Censys采用AlexaTop100万提供的域名数据,BinourEdge采用PassiveDNS数据。Censys、Fofa和BinourEdge都采用GeoIP定位数据,ZoomEye采用IPIP.net定位数据。探测器分布,赛博空间搜索引擎通常须要部署很多探测器,而GreyNoise和BinourEdge在探测探测器方面做的很好。GreyNoise找到了96个搜索引擎探针,包括Shodan、Censys、BinourEdge和ZoomEye。
BinourEdge分析蜜罐数据。因为蜜罐不主动与外界联系,所以对探头分析很有帮助。横向比较总是困难的。我相信每个搜索引擎都有自己的优势。结合大家的经验,对人是好是坏。关于这一点,各个公司的老板也都发了相关文章来辩论讨论,这里就不赘述了。自2009年推出网络搜索引擎以来,已经过去了十多年。作为一种主动检测手段,网络空间映射已越来越多地融入安全分析过程。经过多年的探索,网络空间搜索引擎已经不局限于原来的识别和发现联网设备的功能,而是玩了很多花样:比如Shodan和RecordedFuture利用RAT的C&C特性,通过探针扫描来确定是否是C&C服务器,从而检测十多个RAT的C&C节点分布情况。当然,Censys、ZoomEye等网络空间搜索引擎也有类似的工作,包括钴击等红队工具的热图绘制,已经成为防守方反击的第一招。测绘攻击基础设施、蜜罐、暗网……随着越来越多的玩家进入构建赛博空间搜索引擎,分析挖掘赛博空间测绘成果产生的模式会越来越多,但抛开这些浮华和刺激,深化赛博空间搜索引擎的核心竞争力,才是成功的基础和动力之源。