大家好,这里是TJ君
今天给大家分享一个新鲜出炉的自动抓取数据的开源机器人项目,Maxun。Let's go!
Maxun
Maxun是一个极简的数据抓取平台,可以让一个小白在2分钟里面训练一个自动化机器人,并自行抓取需要的各类数据。
安装方式:
1、使用docker安装
git clone https://github.com/getmaxun/maxun
docker-compose up -d --build
2、不使用docker安装
确保环境中存在Node.js、PostgreSQL、MinIO和Redis
git clone https://github.com/getmaxun/maxun
# change directory to the project root
cd maxun
# install dependencies
npm install
# change directory to maxun-core to install dependencies
cd maxun-core
npm install
# start frontend and backend together
npm run start
机器人可以代替用户执行任何动作:包括捕获列表、捕获文本或捕获屏幕截图。机器人纯属自动发光发热无需人为干预。
使用Maxun就可以轻松从网站中提取结构化和批量项目、从网站中提取单个文本内容、获取网站的全屏或可见部分截图。减少人工工作量。同时,Maxun可以将获取结果转化为API接口或电子表格,并能完美适配分页、滚动处理动作。
项目地址:https://github.com/getmaxun/maxun
往期推荐
点击下方卡片,关注公众号“TJ君”
每天了解一个牛x、好用、有趣的东东