全部技能
scrapling-official
用 Scrapling 的命令行或 Python 把网页抓取成 Markdown、HTML 或文本文件。
- 属于 D4Vinci/Scrapling
- 7200次安装
- 数据 · 数据采集
适合什么时候用
你有一个网址需要提取干净文本或结构化数据,但页面依赖 JavaScript 渲染或会拦截普通 HTTP 请求。
举个例子
你对 AI 说
用 scrapling-official 抓取 https://quotes.toscrape.com/js/ 上的名言并保存为 Markdown 文件,因为名言要等 JavaScript 执行后才出现。
你会拿到
- quotes.md 文件
- 提取的名言文本
它会怎么做
- 简单页面先用 `get`,遇到 JavaScript 或反爬保护再改用 `fetch`。
- `--ai-targeted` 会过滤隐藏元素并屏蔽广告,让输出更精简。
- 用 `-s` 指定 CSS 选择器可只保留需要的部分。
安装前须知
需要 Python 3.10+ 和 pip;浏览器抓取还需通过 `scrapling install` 安装 Scrapling 浏览器。
这个技能带 4 个脚本,助手使用时可能会在你的电脑上运行它们。