AIL-framework:一款模块化信息泄露安全分析框架

科技   2024-12-29 10:02   上海  

关于AIL-framework


AIL-framework是一款功能强大的模块化框架,该工具可以用于对信息泄露场景执行安全分析。



AIL 是一个模块化框架,用于分析来自非结构化数据源(如 Pastebin 或类似服务的粘贴或非结构化数据流)的潜在信息泄露。AIL 框架非常灵活,可以扩展以支持其他功能来挖掘或处理敏感信息(例如数据泄露预防)。


功能介绍


1、模块化架构用于处理非结构化或结构化信息流;
2、默认支持外部 ZMQ 提要,例如由 CIRCL 或其他提供商提供的;
3、支持多个导入器和 feed;
4、每个模块都可以处理和重新处理 AIL 已经分析的信息;
5、检测并提取包含其地理位置(例如 IP 地址位置)的 URL;
6、提取并验证信用卡号、凭证等的潜在泄漏...;
7、提取并验证泄露的电子邮件地址,包括 DNS MX 验证;
8、用于提取 Tor .onion 地址以供进一步分析的模块;
9、跟踪凭证重复项(并比较发现的每个重复项之间的差异);
10、提取并验证潜在主机名(例如,为被动 DNS 系统提供信息);
11、用于索引非结构化信息的全文索引器模块;
12、更多用于提取电话号码、凭证等的模块
13、向MISP发出警报,使用MISP 标准在威胁情报平台内共享发现的泄漏;
14、检测和解码编码文件(Base64、十六进制编码或自己的解码方案)并存储文件;
15、检测 Amazon AWS 和 Google API 密钥;
16、检测比特币地址和比特币私钥;
17、检测私钥、证书、密钥(包括 SSH、OpenVPN);
18、检测 IBAN 银行账户;
19、使用MISP Galaxy和MISP Taxonomies标签的标记系统;
20、在MISP上创建事件并在The Hive上创建案例;
21、使用MISP(事件)和The Hive(警报)对选定标签进行检测时自动导出;
22、可以按日期范围、文件类型(mime-type)和发现的编码来搜索提取和解码的文件;
23、关联引擎和图表可直观显示解码文件(哈希)、PGP UID、域、用户名和加密货币地址之间的关系;
24、网站、论坛和 Tor Hidden-Services 隐藏服务爬虫用于爬取和解析输出;
25、域名可用性监控,用于检测网站的正常运行和隐藏服务;
26、浏览的隐藏服务会被自动捕获并集成到分析的输出中,包括模糊的屏幕截图界面(以避免敏感内容“伤害”安全分析师的眼睛);
27、Tor 隐藏服务是标准框架的一部分,所有 AIL 模块均可供抓取的隐藏服务使用;
28、爬虫调度程序可根据需要或定期触发对 URL 或 Tor 隐藏服务的爬取;


工具架构与运行机制



工具要求


Python 3.8+


工具安装


由于该工具基于Python 3.8开发,因此我们首先需要在本地设备上安装并配置好最新版本的Python 3.8+环境。

接下来,广大研究人员可以直接使用下列命令将该项目源码克隆至本地:
git clone https://github.com/ail-project/ail-framework.git

然后切换到项目目录中,使用pip命令和项目提供的requirements.txt安装该工具所需的其他依赖组件:
cd ail-framework
pip install -r requirements.txt

针对Debian和Ubuntu发行版,可以运行下列脚本完成工具安装:
./installing_deps.sh

工具启动:
cd ~/ail-framework/
cd bin/
./LAUNCH.sh -l


工具使用


下列命令可直接启动AIL:
cd bin/
./LAUNCH.sh -l

我们可以使用下列URL地址访问AIL框架的Web接口:
https://localhost:7000/

Web接口的默认访问凭证存储在DEFAULT_PASSWORD文件中,当你修改了密码之后该文件将会被自动删除。


使用AIL进行科研


如果你想在论文中使用或引用AIL,可以通过下列BibTeX来引用:
@inproceedings{mokaddem2018ail,
title={AIL-The design and implementation of an Analysis Information Leak framework},
author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},
booktitle={2018 IEEE International Conference on Big Data (Big Data)},
pages={5049--5057},
year={2018},
organization={IEEE}
}


许可证协议


本项目的开发与发布遵循AGPL-3.0开源许可协议。


项目地址


AIL-framework:

https://github.com/ail-project/ail-framework


FreeBuf粉丝交流群招新啦!
在这里,拓宽网安边界
甲方安全建设干货;
乙方最新技术理念;
全球最新的网络安全资讯;
群内不定期开启各种抽奖活动;
FreeBuf盲盒、大象公仔......
扫码添加小蜜蜂微信回复「加群」,申请加入群聊】






FreeBuf
中国网络安全行业门户
 最新文章