新鲜出炉的开源自动抓取机器人,小白亦可用

文摘   2024-11-04 08:45   上海  

大家好,这里是TJ君

今天给大家分享一个新鲜出炉的自动抓取数据的开源机器人项目,Maxun。Let's go!

Maxun

Maxun是一个极简的数据抓取平台,可以让一个小白在2分钟里面训练一个自动化机器人,并自行抓取需要的各类数据。

安装方式:

1、使用docker安装

git clone https://github.com/getmaxun/maxun
docker-compose up -d --build

2、不使用docker安装

确保环境中存在Node.js、PostgreSQL、MinIO和Redis

git clone https://github.com/getmaxun/maxun

# change directory to the project root
cd maxun

# install dependencies
npm install

# change directory to maxun-core to install dependencies
cd maxun-core 
npm install

# start frontend and backend together
npm run start

Maxun的操作原理很简单,Maxun允许用户创建自定义机器人,然后通过机器人模拟用户的操作并提取数据。

机器人可以代替用户执行任何动作:包括捕获列表、捕获文本或捕获屏幕截图。机器人纯属自动发光发热无需人为干预。

使用Maxun就可以轻松从网站中提取结构化和批量项目、从网站中提取单个文本内容、获取网站的全屏或可见部分截图。减少人工工作量。同时,Maxun可以将获取结果转化为API接口或电子表格,并能完美适配分页、滚动处理动作。

项目地址:https://github.com/getmaxun/maxun


往期推荐

100K+STAR的JavaScript运行库!
开源40K+STAR的通用数据库工具DBeaver
自研 图表库 vs 工作流设计器


点击下方卡片,关注公众号“TJ君

每天了解一个牛x、好用、有趣的东东

往期推荐,可点击阅读原文直达分类汇总页面

TJ君
一个励志推荐10000款开源项目与免费工具的程序猿
 最新文章