用于情报收集15大开源情报工具

文摘   2025-01-03 00:01   河南  

OSINT工具是信息收集过程的关键部分,尤其是在了解和减少网络安全情报中的攻击面方面。全球开源情报市场在2018年的价值为50.2亿美元,预计到2026年将增长到291.9亿美元,2020年至2026年的复合年增长率为 24.7%,反映出它们的重要性。

OSINT 工具在开源情报分析中有着非常重要的作用。

关键要点

  • OSINT(开源情报)工具可以高效地收集和分析公开数据,政府机构和私人组织可以使用这些数据来分析市场趋势、品牌定位等。这些工具已经从传统媒体发展到融合了网络抓取、社交媒体分析、地理空间情报和人工智能等技术,以提高数据处理的精度和速度。
  • 高级搜索引擎和专业服务(例如Internet Archive)以及浏览器扩展程序(例如 Mitaka)以及 Google 高级搜索运算符(称为Google dorks)对于出于OSINT目的探索网络至关重要。它们可以高效地导航和分析标准搜索引擎实践未索引的内容。
  • OSINT 实践必须遵守法律标准,以确保负责任的情报收集。这涉及关注道德考虑、了解法律框架以及利用 OSINT 工具(例如公共记录搜索引擎、社交媒体监控和网络扫描工具),同时保持透明度并避免未经授权的数据访问。

开源情报简介

开源情报(OSINT)是:

  • 从公开来源收集信息的艺术和科学

  • 将原始数据转化为可操作的见解

  • 随着数字世界的扩张,需求量很大

  • 政府机构和商业组织均使用它来进行侦察、加强网络犯罪调查等

  • 提供有关市场趋势和品牌定位的宝贵见解。

OSINT在广泛的OSINT数据源上运行,包括来自各种OSINT技术的公共数据,例如:

  • 广播电视

  • 收音机

  • 社交媒体

  • 网站

OSINT是收集各种格式(如文本、视频、图像和音频)数据的强大资源。结合机器学习和神经网络等先进技术,可以识别趋势和模式,并通过分析各种数据源识别个人或主题等关键要素。

OSINT 工具的演变

随着时间的推移,OSINT工具发生了重大变化。OSINT工具最初专注于报纸和广播等传统媒体分析,现在已转向利用互联网上私营和公共部门的大量信息资源。现代OSINT工具已经超越了简单的搜索引擎,现在包含复杂的分析和可视化功能。

这些平台融合了网络抓取、社交媒体分析和地理空间智能等最先进的技术,彻底改变了信息的提取和评估方式。

预计OSINT工具的未来将由人工智能和机器学习驱动,从而提高数据处理和分析的精度和速度。

顶级OSINT工具配备了增强情报收集过程的功能。这些功能之一是内置数据转换,允许将检索到的信息转换为更有用或更易读的格式。为了根据特定用户需求定制数据收集和分析,多种OSINT工具支持自定义转换。

15 种OSINT工具

个人和组织现在可以开始使用许多免费的 OSINT工具。这些工具功能广泛,可用于各种情报收集目的。

1. OSINT 框架:OSINT框架是研究人员基于网络的重要工具,可按来源、类型和上下文组织开源情报资源。它广泛应用于政府、执法和企业安全等部门,以满足各种数据收集需求。社区贡献不断增强该框架,同时其运行遵守 GDPR 等法律标准,以确保合乎道德的数据收集。

2. Google Dorks:自2002年开始使用以来, Google Dorks提供专门的查询,利用 Google的庞大索引来协助安全调查。这些查询可以定位特定文件类型、扩展名、页面内的文本、标题和URL,这些工具对于探索个人和公司的详细信息非常有用。尽管搜索引擎通常不会索引日志文件等敏感数据,但Google Dorks仍然可以挖掘此类信息,为IT安全提供关键资源。

3. theHarvester :包含在Kali Linux发行版中,是一款用于收集与任何公司或网站相关的子域、虚拟主机、开放端口和电子邮件地址信息的综合工具。theHarvester利用PGP密钥服务器、Google和Bing等搜索引擎以及 LinkedIn 等社交网络等来源收集数据,支持被动侦察和主动渗透测试。此工具对于本地和第三方授权网络的渗透测试的初始阶段特别有用。

4. SecurityTrails API:SecurityTrails API允许您即时访问当前DNS 服务器记录和历史记录(称为DNS 历史记录)、域详细信息和关联域、IP信息以及WHOIS数据,以便您可以将其集成到您自己的应用程序中,用于资产发现、威胁情报、风险评分等。最好的部分是您只需要一个 HTTP 请求即可检索数据。

5. BGPView:使用BGPView轻松跟踪 BGP 路由信息和 IP 地址数据,简化网络监控任务。分析网络配置、识别安全威胁并无缝监控路由变化。这款直观的网络工具提供可直接从浏览器访问的全面见解,从而做出明智的决策以优化网络性能、识别威胁行为者的来源等等。

6. Recorded Future 漏洞数据库:从这个免费的CVE DB访问详细的漏洞信息。此工具为安全团队提供了宝贵的见解,使他们能够领先于新兴的 CVE。它包括有用的信息,例如 CVSS 分数、攻击复杂度级别、可用性、每个 CVE 的摘要,以及受影响的产品和缓解资源。

7. Triage Malware Sandbox:使用最先进、最流行的恶意软件分析沙箱之一免费探索恶意软件样本。该平台提供了一个可定制的环境,您可以在其中提交大量恶意软件样本,从而能够检测和提取各种恶意软件家族的配置。

8. Mitaka:这是一个 OSINT 浏览器扩展,可以帮助您提高日常运营效率,提供对各种情报收集功能的直观访问,以实现高效的侦察和调查任务。Mitaka 采用以用户为中心的方法开发,无缝集成了多个OSINT模块,实现了对目标实体的全面分析。

9. Recorded Future 的浏览器扩展:使用此威胁情报浏览器扩展,可以轻松访问来自任何基于 Web 的资源的情报数据,从而简化安全操作。此 OSINT 扩展将帮助您调查网络钓鱼电子邮件、检测 IOC、优先修补漏洞并加快 SIEM 中的警报处理速度。

10. HaveIbeenPwned?HaveIbeenPwned 可以帮助您检查您的帐户过去是否被盗用。该网站由 Troy Hunt 开发,他是这个市场上最受尊敬的 IT 安全专家之一,多年来一直提供准确的报告。如果您怀疑您的帐户已被盗用,或者想要验证外部帐户是否受到第三方入侵,这是一个完美的工具。它可以追踪来自许多来源的网络入侵,例如 Gmail、Hotmail、Yahoo 帐户,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和许多其他热门网站。

11. BuiltWith:作为全面的分析器,用于识别网站上部署的各种技术,从服务器框架到分析和内容管理系统。它提供对网络设置的深入分析,这对于竞争情报和技术战略制定至关重要。对于那些寻求深入了解数字平台技术基础设施的人来说,这个工具至关重要。

12. Shodan:由 John Matherly 于 2009 年构思,是一款网络安全监控器,也是深层网络和物联网的专用搜索引擎。它使用户能够探索大量联网设备,并按国家、操作系统和网络类型组织结果,为 IT 安全研究人员提供宝贵的见解。

13. SpiderFoot:由 Steve Micallef 开发,是一款出色的侦察工具,可自动执行 OSINT,在侦察、威胁情报和周边监控方面可快速获得结果。它利用 100 多个公共数据源来收集各种目标的情报,包括通用名称、域名、电子邮件地址和 IP 地址,并通过易于使用的模块选择和目标规范简化流程。

14. Maltego:由Paterva开发,是Kali Linux发行版中的一款强大工具,专为对目标进行详细数字侦察而设计。利用“转换”来集成和分析来自外部应用程序的数据,有免费版和商业版。用户可以通过Maltego平台启动调查以获得综合结果,例如 IP、域和 AS 编号。

15. Nmap:虽然一些网络扫描仪在技术上可能不被视为 OSINT 工具,但它们被广泛集成到许多此类平台中。网络扫描仪收集的信息通常可通过公共渠道访问,符合开源情报 (OSINT) 的原则。其中一个最好的例子是强大的 Nmap。此网络和端口扫描仪是用于情报收集的出色工具,它提供了数十个Nmap 命令,可从终端和 GUI 执行侦察过程。

扩展知识

什么是开源情报工具?

开源情报工具用于从社交媒体、网站和新闻文章收集公开信息,以识别漏洞并制定攻击计划。

社交媒体如何用于开源情报 (OSINT)?

可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具将社交媒体用于 OSINT,从不同的社交媒体平台提取和分析数据,从而深入了解在线行为和关系。

如何确保开源情报调查实践的合法合规性?

为了确保开源情报收集实践的合法性,必须遵守法律法规、行动透明、确保数据收集合法合乎道德。这些步骤对于保持诚信和遵守法律标准至关重要。

全球范围内,开源情报活动受到不同法律法规的约束,这可能会带来风险,在我国以《网络安全法》《个人信息保护法》等法律法规约束,欧洲则是《通用数据保护条例》等法律对数据使用规定了严格的要求。在德国,开展开源情报需要有法律顾问确认的合法权益。最佳实践建议遵守服务条款、谨慎使用、避免非法数据访问并确保运营透明度。

— 欢迎关注 往期回顾 —

精彩回顾:祺印说信安2024之前

230个网络和数据安全相关法律法规规范文件打包下载

单位高层领导参与网络安全不应该只是口头说说
党委(党组)网络安全工作责任制实施办法
“两高一弱”专项下,谈合规下的弱口令
网络被黑?还看“两高一弱” ,原来是不履行网络安全义务惹的祸

>>>网络安全等级保护<<<

网络安全等级保护:等级保护工作、分级保护工作、密码管理工作三者之间的关系
1994-2024等级保护30年法律法规及政策发展历程概览

网络安全等级保护:等级保护的概念

网络安全等级保护:等级保护工作的内涵

网络安全等级保护:开展网络等级保护工作的流程

网络安全等级保护:贯彻落实网络安全等级保护制度的原则

网络安全等级保护:开展网络安全等级保护工作的法律依据

网络安全等级保护:开展网络安全等级保护工作的政策依据

网络安全等级保护:开展网络安全等级保护工作的标准依据

网络安全等级保护:等级保护工作从定级到备案

网络安全等级保护:网络总体安全规划很重要

网络安全等级保护:一定要做好网络安全运行与维护

网络安全等级保护:应急响应与保障是法定要求

网络安全等级保护:如何正确处理终止的等级保护对象

网络安全等级保护:政策与技术“七一”大合集100+篇

网络安全等级保护:安全管理机构

网络安全等级保护:网络安全事件分类分级思维导图

网络安全等级保护:明确测评双方的责任从了解测评过程指南开始(思维导图下载)

>>>关键信息基础设施安全保护<<<

关键信息基础设施安全保护要求思维导图

关键信息基础设施保护要求之分析识别与风险评估乱谈
关键信息基础设施保护要求之安全防护

网络安全框架CSF 2.0 核心与示例映射

>>>数据安全系列<<<

数据安全管理从哪里开始
数据泄露的成本:医疗保健行业
数据安全知识:数据安全策略规划
数据安全知识:组织和人员管理
数据安全知识:数据库安全重要性
数据安全知识:数据整理与数据清理
数据安全知识:什么是数据存储?
数据安全知识:什么是数据风险评估?
数据安全知识:如何逐步执行数据风险评估
数据安全知识:数据风险管理降低企业风险
数据安全知识:数据整理与数据清理
数据安全知识:什么是数据安全态势管理?
数据安全知识:数据库安全重要性
数据安全知识:数据库安全威胁
数据安全知识:不同类型的数据库
数据安全知识:数据库简史
数据安全知识:什么是数据出口?
数据安全知识:什么是数据治理模型?
>>>错与罚<<<
两家公司违反《数据安全法》被郑州市网信办行政处罚
郑州3家公司未履行网络安全保护义务被网信部门约谈
郑州网信办就网络安全问题依法约谈相关责任单位
郑州再增两家公司,因违反《网络安全法》被网信办行政处罚案例
一公司违反《网络安全法》被郑州惠济区委网信办约谈
重庆市网信办对一网络科技公司未履行网络数据安全保护义务罚款五万元

警惕风险突出的100个高危漏洞(上)

警惕风险突出的100个高危漏洞(下)

警惕“两高一弱”风险及安全防护提示(全集)

不履行网络安全保护义务是违法行为!多家单位被通报!

因侵犯公民个人信息罪 深圳一人被判一年三个月 售卖他人求职简历

公安部网安局:河南开展整治网络谣言专项行动 查处造谣传谣3000余人

四川遂宁公安公布10起涉网违法犯罪典型案例

276人落网!河南新乡警方摧毁特大“网络水军”犯罪团伙

重拳出击严打涉网犯罪 海淀警方守护网络清朗
网警@同学们 暑期这些兼职不能做!

非法出售公民个人信息 网站经营者被判三年有期徒刑

超范围采集公民信息,违法!鹤壁网警出手

一公司高管为泄愤攻击智慧停车收费系统,致上千家停车场无法自动抬杆

重庆某国企因网安责任人履职不到位被约谈

因违规收集使用个人信息等,人保寿险宁波分公司被罚32万,4名责任人同时被罚

回顾长沙市三个区网信开出首张罚单的不同时间和处罚单位类型

上海4人被判刑:5元掌握明星偶像行程?贩卖明星信息4人被判刑!

假期内,网络主播直播约架?郑州警方迅速控制,刑拘十人!网络空间不是法外之地!

网安局:拒不履行网络安全保护义务,处罚!事关备案!

网络水军团灭记:“转评赞”狂刷单 上百人“网络水军”团伙落网

北京多家公司因不履行网络安全保护义务被处罚!“两高一弱”仍然是安全隐患重点

关于“近20台服务器“沦陷”,3.54亿条个人信息被盗”一点点浅析

>>>其他<<<

2023年10佳免费网络威胁情报来源和工具

重大网络安全事件事后工作很重要

默认安全:对现代企业意味着什么

网络安全知识:什么是事件响应?

网络安全知识:什么是攻击面?

网络安全知识:什么是访问控制列表 (ACL)?

网络安全知识:什么是访问管理?

网络安全知识:什么是访问矩阵?

网络安全知识:什么是账户收集?

网络安全知识:什么是工业控制系统 (ICS) 网络安全?

网络安全知识:什么是暴力攻击?

网络安全知识:什么是安全审计?

网络安全知识:什么是分组密码?

网络安全知识:什么是僵尸网络?

网络安全知识:什么是非对称加密?

网络安全知识:什么是边界网关协议 (BGP)?

网络安全知识:什么是缓冲区溢出?

网络安全知识:网络安全中的EDR是什么?

网络安全知识:什么是身份验证?

网络安全知识:什么是勒索软件?

网络安全知识:什么是授权?

网络安全知识:什么是自治系统?

网络安全知识:什么是蓝队?

网络安全知识:什么是Bind Shell?

网络安全知识:什么是安全网关?

网络安全知识:什么是蓝队?

网络安全知识:什么是防病毒产品?

网络安全知识:什么是横幅抓取?

网络安全知识:什么是堡垒主机?

网络安全知识:什么是引导扇区病毒?

网络安全知识:计算机网络中的桥接器

网络安全知识:什么是广播?

网络安全知识:什么是业务连续性计划?

网络安全知识:什么是基于证书的身份验证?

网络安全知识:什么是CIA三要素 (机密性、完整性、可用性)?

网络安全知识:什么是补丁管理?

网络安全知识:什么是跨站请求伪造?

网络安全知识:什么是基于域的消息认证、报告和一致性 (DMARC)?

网络安全知识:什么是拒绝服务(DoS)攻击?

网络安全知识:什么是端到端加密 (E2EE)?

将人类从网络安全中解放出来

人,是造成网络安全问题的根本原因

祺印说信安
学习网络安全、说网络安全;共同致力于网络安全、网络安全等级保护。
 最新文章