微软开源最强Python自动化爬虫神器!不用写一行代码!

科技   2024-09-14 23:14   江苏  

来源:GitHubStore

相信玩过爬虫的朋友都知道selenium,一个自动化测试的神器工具。写个Python自动化脚本解放双手基本上是常规的操作了,爬虫爬不了的,就用自动化测试凑一凑。

虽然selenium有完备的文档,但也需要一定的学习成本,对于一个纯小白来讲还是有些门槛的。

微软开源了一个项目叫「playwright-python」,简直碉堡了!这个项目是针对Python语言的纯自动化工具,连代码都不用写,就能实现自动化功能。

Playwright是一个强大的Python库,仅用一个API即可自动执行ChromiumFirefoxWebKit等主流浏览器自动化操作,并同时支持以无头模式、有头模式运行。

Playwright提供的自动化技术是绿色的、功能强大、可靠且快速,支持LinuxMac以及Windows操作系统。

安装

Playwright的安装非常简单,两步走。

# 安装playwright库pip install playwright
# 安装浏览器驱动文件(安装过程稍微有点慢)python -m playwright install

上面两个pip操作分别安装:

  • 安装Playwright依赖库,需要Python3.7+

  • 安装Chromium、Firefox、WebKit等浏览器的驱动文件

录制

使用Playwright无需写一行代码,我们只需手动操作浏览器,它会录制我们的操作,然后自动生成代码脚本。

下面就是录制的命令codegen,仅仅一行。

# 命令行键入 --help 可看到所有选项

python -m playwright codegen

codegen的用法可以使用--help查看,如果简单使用就是直接在命令后面加上url链接,如果有其他需要可以添加options

python -m playwright codegen --helpUsage: index codegen [options] [url]
open page and generate code for user actions
Options: -o, --output <file name> saves the generated script to a file --target <language> language to use, one of javascript, python, python-async, csharp (default: "python") -h, --help display help for command
Examples:
$ codegen $ codegen --target=python $ -b webkit codegen https://example.com

options含义:

  • -o:将录制的脚本保存到一个文件

  • --target:规定生成脚本的语言,有JSPython两种,默认为Python

  • -b:指定浏览器驱动


项目链接

https://playwright.dev/

往期文章

推荐我常用的几个爬虫插件&工具,值得收藏~
推荐3款自动爬虫神器,再也不用手撸代码了
新式爬虫利器,网页解锁能力非常强大!
使用八爪鱼爬虫+Kimi AI分析小米SU7舆情数据,终于知道它为什么火了
推荐我常用的爬虫工具,三种爬虫方式,搞定反爬和动态页面
6个强大且流行的Python爬虫库,强烈推荐!

Python大数据分析
分享Python编程、数据分析、爬虫、人工智能等
 最新文章