点击上方蓝字关注我们
IT 咖啡馆,探索无限可能!
恭喜你发现了这个宝藏,这里你会发现优质的开源项目、IT知识和有趣的内容。
有些时候大家会对网站有什么新东西很关注,比如是不是发了新文章、上没上新商品、有没有新视频,如果想第一时间知道该怎么办呢?
今天我们分享的开源项目,它是一个简单易用的网页变化监控工具,帮你第一时间发现网页的内容变化,它就是:changedetection
changedetection 是什么
changedetection是一个简单易用的网页变化监控工具,功能强大,能够自动化检测网页内容的任何变化,并通过电子邮件、Slack、Discord等多种渠道发送实时通知,帮助用户及时捕捉关键信息,适用于监控价格变动、产品库存监测、网站更新等各种场景。
整个项目使用Python、JavaScript和HTML开发,项目的特点有以下:
网页变化监控:自动检测网页上的内容变化,包括文本、图片、链接等。
实时通知:一旦检测到网页变化,立即通过用户选择的通知方式发送警报。
多平台集成:支持多种通知渠道,如电子邮件、Slack、Discord、Telegram等。
目标元素选择:用户可以选择监控网页上的特定元素,如价格标签、库存状态等。
浏览器自动化:模拟浏览器操作,如登录、搜索、添加到购物车等。
产品重新库存检测:监控缺货产品,并在产品重新上架时发送通知。
自定义频率:用户可以设置网页检查的频率,以适应不同的监控需求。
虚拟位置:支持选择不同的虚拟位置,包括欧洲、美国和Tor代理。
过滤器和规则:提供触发文本、CSS/XPath规则、忽略文本等过滤选项。
安装changedetection
Docker方式
推荐通过docker的方式来安装,使用 Docker Composer,只需克隆代码仓库,然后执行命令即可:
docker compose up -d
也可以通过项目提供的docker镜像来直接启动
$ docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
:latest
标签是我们最新的稳定版本,:dev
标签是我们最前沿的master
分支。
Python pip方式
也可以通过Pip的方式来安装:
$ pip3 install changedetection.io
$ changedetection.io -d /path/to/empty/data/dir -p 5000
然后访问http://127.0.0.1:5000,您现在应该可以访问 UI。
使用changedetection
在 Changedetection 中,您可以添加网站、分配标签并跟踪其状态。
添加网站后,您将能够查看其状态、检查更改,甚至可以预览首次扫描时的网站。如果检测到更改,您可以比较版本并探索差异。
您可以看到已创建一张表,其中包含受监控的网站列表及其各自的状态,包括执行状态、被监控的网站地址、上次检查的时间、最后一次变化的时间和一些可执行的操作。
在以下示例中,您可以观察到我删除显示的帖子后网站的变化。绿色线条表示已添加的信息,而红色线条表示已删除的信息。
使用场景
你都可以在什么地方使用到 呢?可以参考以下的这些情况:
产品和服务定价发生变化
缺货通知和补货通知
监控和跟踪 PDF 文件的变化,了解 PDF 文件中的文本何时发生变化。
政府部门更新(变更通常仅在其网站上发布)
当您不在他们的邮件列表中时,他们会发布新的软件版本并发出安全警告。
Discogs 补货警报和监控
房地产挂牌变化
来自大学/组织网站的新闻
检测并监控 JSON API 响应中的变化
JSON API 监控和警报
法律和其他文件的变更
当文本出现在网站上时通过通知触发 API 调用
使用 JSON 过滤器和 JSON 通知将 API 粘合在一起
根据网页内容的变化创建 RSS 源
监控 HTML 源代码是否存在意外更改,增强 PCI 合规性
当某些关键字出现在 Twitter 搜索结果中时收到通知
主动搜索工作,当公司更新其职业页面时收到通知,在求职门户网站上搜索关键字。
当 Bamboo HR 和其他求职平台上有新职位开放时接收提醒
网站污损监控
宝可梦卡牌补给追踪器 / 宝可梦 TCG 追踪
总结
总的来说Changedetection 是一款功能强大的自托管工具,可确保您始终了解网站内容的变化。无论您是网站管理员还是技术爱好者,此开源解决方案都简化了监控网页变化的过程,让你第一时间掌握网站内容的变化。
项目信息
项目名称:changedetection
GitHub 链接:https://github.com/dgtlmoon/changedetection.io
Star 数:16K