OSINT工具是信息收集过程的关键部分,尤其是在了解和减少网络安全情报中的攻击面方面。全球开源情报市场在2018年的价值为50.2亿美元,预计到2026年将增长到291.9亿美元,2020年至2026年的复合年增长率为 24.7%,反映出它们的重要性。
OSINT 工具在开源情报分析中有着非常重要的作用。
关键要点
OSINT(开源情报)工具可以高效地收集和分析公开数据,政府机构和私人组织可以使用这些数据来分析市场趋势、品牌定位等。这些工具已经从传统媒体发展到融合了网络抓取、社交媒体分析、地理空间情报和人工智能等技术,以提高数据处理的精度和速度。 高级搜索引擎和专业服务(例如Internet Archive)以及浏览器扩展程序(例如 Mitaka)以及 Google 高级搜索运算符(称为Google dorks)对于出于OSINT目的探索网络至关重要。它们可以高效地导航和分析标准搜索引擎实践未索引的内容。 OSINT 实践必须遵守法律标准,以确保负责任的情报收集。这涉及关注道德考虑、了解法律框架以及利用 OSINT 工具(例如公共记录搜索引擎、社交媒体监控和网络扫描工具),同时保持透明度并避免未经授权的数据访问。
开源情报简介
开源情报(OSINT)是:
从公开来源收集信息的艺术和科学
将原始数据转化为可操作的见解
随着数字世界的扩张,需求量很大
政府机构和商业组织均使用它来进行侦察、加强网络犯罪调查等
提供有关市场趋势和品牌定位的宝贵见解。
OSINT在广泛的OSINT数据源上运行,包括来自各种OSINT技术的公共数据,例如:
广播电视
收音机
社交媒体
网站
OSINT是收集各种格式(如文本、视频、图像和音频)数据的强大资源。结合机器学习和神经网络等先进技术,可以识别趋势和模式,并通过分析各种数据源识别个人或主题等关键要素。
OSINT 工具的演变
随着时间的推移,OSINT工具发生了重大变化。OSINT工具最初专注于报纸和广播等传统媒体分析,现在已转向利用互联网上私营和公共部门的大量信息资源。现代OSINT工具已经超越了简单的搜索引擎,现在包含复杂的分析和可视化功能。
这些平台融合了网络抓取、社交媒体分析和地理空间智能等最先进的技术,彻底改变了信息的提取和评估方式。
预计OSINT工具的未来将由人工智能和机器学习驱动,从而提高数据处理和分析的精度和速度。
顶级OSINT工具配备了增强情报收集过程的功能。这些功能之一是内置数据转换,允许将检索到的信息转换为更有用或更易读的格式。为了根据特定用户需求定制数据收集和分析,多种OSINT工具支持自定义转换。
15 种OSINT工具
个人和组织现在可以开始使用许多免费的 OSINT工具。这些工具功能广泛,可用于各种情报收集目的。
1. OSINT 框架:OSINT框架是研究人员基于网络的重要工具,可按来源、类型和上下文组织开源情报资源。它广泛应用于政府、执法和企业安全等部门,以满足各种数据收集需求。社区贡献不断增强该框架,同时其运行遵守 GDPR 等法律标准,以确保合乎道德的数据收集。
2. Google Dorks:自2002年开始使用以来, Google Dorks提供专门的查询,利用 Google的庞大索引来协助安全调查。这些查询可以定位特定文件类型、扩展名、页面内的文本、标题和URL,这些工具对于探索个人和公司的详细信息非常有用。尽管搜索引擎通常不会索引日志文件等敏感数据,但Google Dorks仍然可以挖掘此类信息,为IT安全提供关键资源。
3. theHarvester :包含在Kali Linux发行版中,是一款用于收集与任何公司或网站相关的子域、虚拟主机、开放端口和电子邮件地址信息的综合工具。theHarvester利用PGP密钥服务器、Google和Bing等搜索引擎以及 LinkedIn 等社交网络等来源收集数据,支持被动侦察和主动渗透测试。此工具对于本地和第三方授权网络的渗透测试的初始阶段特别有用。
4. SecurityTrails API:SecurityTrails API允许您即时访问当前DNS 服务器记录和历史记录(称为DNS 历史记录)、域详细信息和关联域、IP信息以及WHOIS数据,以便您可以将其集成到您自己的应用程序中,用于资产发现、威胁情报、风险评分等。最好的部分是您只需要一个 HTTP 请求即可检索数据。
5. BGPView:使用BGPView轻松跟踪 BGP 路由信息和 IP 地址数据,简化网络监控任务。分析网络配置、识别安全威胁并无缝监控路由变化。这款直观的网络工具提供可直接从浏览器访问的全面见解,从而做出明智的决策以优化网络性能、识别威胁行为者的来源等等。
6. Recorded Future 漏洞数据库:从这个免费的CVE DB访问详细的漏洞信息。此工具为安全团队提供了宝贵的见解,使他们能够领先于新兴的 CVE。它包括有用的信息,例如 CVSS 分数、攻击复杂度级别、可用性、每个 CVE 的摘要,以及受影响的产品和缓解资源。
7. Triage Malware Sandbox:使用最先进、最流行的恶意软件分析沙箱之一免费探索恶意软件样本。该平台提供了一个可定制的环境,您可以在其中提交大量恶意软件样本,从而能够检测和提取各种恶意软件家族的配置。
8. Mitaka:这是一个 OSINT 浏览器扩展,可以帮助您提高日常运营效率,提供对各种情报收集功能的直观访问,以实现高效的侦察和调查任务。Mitaka 采用以用户为中心的方法开发,无缝集成了多个OSINT模块,实现了对目标实体的全面分析。
9. Recorded Future 的浏览器扩展:使用此威胁情报浏览器扩展,可以轻松访问来自任何基于 Web 的资源的情报数据,从而简化安全操作。此 OSINT 扩展将帮助您调查网络钓鱼电子邮件、检测 IOC、优先修补漏洞并加快 SIEM 中的警报处理速度。
10. HaveIbeenPwned?HaveIbeenPwned 可以帮助您检查您的帐户过去是否被盗用。该网站由 Troy Hunt 开发,他是这个市场上最受尊敬的 IT 安全专家之一,多年来一直提供准确的报告。如果您怀疑您的帐户已被盗用,或者想要验证外部帐户是否受到第三方入侵,这是一个完美的工具。它可以追踪来自许多来源的网络入侵,例如 Gmail、Hotmail、Yahoo 帐户,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和许多其他热门网站。
11. BuiltWith:作为全面的分析器,用于识别网站上部署的各种技术,从服务器框架到分析和内容管理系统。它提供对网络设置的深入分析,这对于竞争情报和技术战略制定至关重要。对于那些寻求深入了解数字平台技术基础设施的人来说,这个工具至关重要。
12. Shodan:由 John Matherly 于 2009 年构思,是一款网络安全监控器,也是深层网络和物联网的专用搜索引擎。它使用户能够探索大量联网设备,并按国家、操作系统和网络类型组织结果,为 IT 安全研究人员提供宝贵的见解。
13. SpiderFoot:由 Steve Micallef 开发,是一款出色的侦察工具,可自动执行 OSINT,在侦察、威胁情报和周边监控方面可快速获得结果。它利用 100 多个公共数据源来收集各种目标的情报,包括通用名称、域名、电子邮件地址和 IP 地址,并通过易于使用的模块选择和目标规范简化流程。
14. Maltego:由Paterva开发,是Kali Linux发行版中的一款强大工具,专为对目标进行详细数字侦察而设计。利用“转换”来集成和分析来自外部应用程序的数据,有免费版和商业版。用户可以通过Maltego平台启动调查以获得综合结果,例如 IP、域和 AS 编号。
15. Nmap:虽然一些网络扫描仪在技术上可能不被视为 OSINT 工具,但它们被广泛集成到许多此类平台中。网络扫描仪收集的信息通常可通过公共渠道访问,符合开源情报 (OSINT) 的原则。其中一个最好的例子是强大的 Nmap。此网络和端口扫描仪是用于情报收集的出色工具,它提供了数十个Nmap 命令,可从终端和 GUI 执行侦察过程。
扩展知识
什么是开源情报工具?
开源情报工具用于从社交媒体、网站和新闻文章收集公开信息,以识别漏洞并制定攻击计划。
社交媒体如何用于开源情报 (OSINT)?
可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具将社交媒体用于 OSINT,从不同的社交媒体平台提取和分析数据,从而深入了解在线行为和关系。
如何确保开源情报调查实践的合法合规性?
为了确保开源情报收集实践的合法性,必须遵守法律法规、行动透明、确保数据收集合法合乎道德。这些步骤对于保持诚信和遵守法律标准至关重要。
全球范围内,开源情报活动受到不同法律法规的约束,这可能会带来风险,在我国以《网络安全法》《个人信息保护法》等法律法规约束,欧洲则是《通用数据保护条例》等法律对数据使用规定了严格的要求。在德国,开展开源情报需要有法律顾问确认的合法权益。最佳实践建议遵守服务条款、谨慎使用、避免非法数据访问并确保运营透明度。
— 欢迎关注 往期回顾 —
>>>网络安全等级保护<<<
>>>关键信息基础设施安全保护<<<
>>>数据安全系列<<<
因侵犯公民个人信息罪 深圳一人被判一年三个月 售卖他人求职简历
公安部网安局:河南开展整治网络谣言专项行动 查处造谣传谣3000余人
一公司高管为泄愤攻击智慧停车收费系统,致上千家停车场无法自动抬杆
上海4人被判刑:5元掌握明星偶像行程?贩卖明星信息4人被判刑!
假期内,网络主播直播约架?郑州警方迅速控制,刑拘十人!网络空间不是法外之地!
网络水军团灭记:“转评赞”狂刷单 上百人“网络水军”团伙落网
北京多家公司因不履行网络安全保护义务被处罚!“两高一弱”仍然是安全隐患重点
>>>其他<<<
网络安全知识:什么是CIA三要素 (机密性、完整性、可用性)?
网络安全知识:什么是基于域的消息认证、报告和一致性 (DMARC)?