16K star!网站内容变化实时监控,快速掌握一手信息

文摘   2024-09-03 11:45   北京  

点击上方蓝字关注我们

IT 咖啡馆,探索无限可能!

恭喜你发现了这个宝藏,这里你会发现优质的开源项目、IT知识和有趣的内容。

 

有些时候大家会对网站有什么新东西很关注,比如是不是发了新文章、上没上新商品、有没有新视频,如果想第一时间知道该怎么办呢?

今天我们分享的开源项目,它是一个简单易用的网页变化监控工具,帮你第一时间发现网页的内容变化,它就是:changedetection




changedetection 是什么



changedetection是一个简单易用的网页变化监控工具,功能强大,能够自动化检测网页内容的任何变化,并通过电子邮件、Slack、Discord等多种渠道发送实时通知,帮助用户及时捕捉关键信息,适用于监控价格变动、产品库存监测、网站更新等各种场景。

整个项目使用Python、JavaScript和HTML开发,项目的特点有以下:

  • 网页变化监控:自动检测网页上的内容变化,包括文本、图片、链接等。

  • 实时通知:一旦检测到网页变化,立即通过用户选择的通知方式发送警报。

  • 多平台集成:支持多种通知渠道,如电子邮件、Slack、Discord、Telegram等。

  • 目标元素选择:用户可以选择监控网页上的特定元素,如价格标签、库存状态等。

  • 浏览器自动化:模拟浏览器操作,如登录、搜索、添加到购物车等。

  • 产品重新库存检测:监控缺货产品,并在产品重新上架时发送通知。

  • 自定义频率:用户可以设置网页检查的频率,以适应不同的监控需求。

  • 虚拟位置:支持选择不同的虚拟位置,包括欧洲、美国和Tor代理。

  • 过滤器和规则:提供触发文本、CSS/XPath规则、忽略文本等过滤选项。

 




安装changedetection


 

Docker方式

推荐通过docker的方式来安装,使用 Docker Composer,只需克隆代码仓库,然后执行命令即可:

$ docker compose up -d

也可以通过项目提供的docker镜像来直接启动

$ docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io
:latest标签是我们最新的稳定版本,:dev标签是我们最前沿的master分支。

 

Python pip方式

也可以通过Pip的方式来安装:

$ pip3 install changedetection.io$ changedetection.io -d /path/to/empty/data/dir -p 5000
然后访问http://127.0.0.1:5000,您现在应该可以访问 UI。





使用changedetection



在 Changedetection 中,您可以添加网站、分配标签并跟踪其状态。

添加网站后,您将能够查看其状态、检查更改,甚至可以预览首次扫描时的网站。如果检测到更改,您可以比较版本并探索差异。

您可以看到已创建一张表,其中包含受监控的网站列表及其各自的状态,包括执行状态、被监控的网站地址、上次检查的时间、最后一次变化的时间和一些可执行的操作。

在以下示例中,您可以观察到我删除显示的帖子后网站的变化。绿色线条表示已添加的信息,而红色线条表示已删除的信息。




使用场景



你都可以在什么地方使用到 呢?可以参考以下的这些情况:

  • 产品和服务定价发生变化

  • 缺货通知补货通知

  • 监控和跟踪 PDF 文件的变化,了解 PDF 文件中的文本何时发生变化。

  • 政府部门更新(变更通常仅在其网站上发布)

  • 当您不在他们的邮件列表中时,他们会发布新的软件版本并发出安全警告。

  • Discogs 补货警报和监控

  • 房地产挂牌变化

  • 来自大学/组织网站的新闻

  • 检测并监控 JSON API 响应中的变化

  • JSON API 监控和警报

  • 法律和其他文件的变更

  • 当文本出现在网站上时通过通知触发 API 调用

  • 使用 JSON 过滤器和 JSON 通知将 API 粘合在一起

  • 根据网页内容的变化创建 RSS 源

  • 监控 HTML 源代码是否存在意外更改,增强 PCI 合规性

  • 当某些关键字出现在 Twitter 搜索结果中时收到通知

  • 主动搜索工作,当公司更新其职业页面时收到通知,在求职门户网站上搜索关键字。

  • 当 Bamboo HR 和其他求职平台上有新职位开放时接收提醒

  • 网站污损监控

  • 宝可梦卡牌补给追踪器 / 宝可梦 TCG 追踪





总结



总的来说Changedetection 是一款功能强大的自托管工具,可确保您始终了解网站内容的变化。无论您是网站管理员还是技术爱好者,此开源解决方案都简化了监控网页变化的过程,让你第一时间掌握网站内容的变化。

   




项目信息



  • 项目名称:changedetection

  • GitHub 链接:https://github.com/dgtlmoon/changedetection.io

  • Star 数:16K



往期推荐

4K star!实现页面拖拽,只需几行代码

4K star!实现页面拖拽,只需几行代码

「Github一周热点38期」黑客工具箱、Notion平替、AI换脸等5个项目


  




识别二维码关注我们
微信号- it-coffee
B站 - IT-咖啡馆
头条号- IT咖啡馆

IT咖啡馆
开源项目、IT技能和有趣的事情
 最新文章