Scrapling Mcp

---

Scrapling MCP Server

> Scrapling MCP — 基于 Scrapling 开源的通用 Web 抓取 MCP 服务器。三引擎架构覆盖从静态页面到 Cloudflare 保护站点的所有场景，支持 JS 渲染、反爬绕过、cookie 注入、2FA TOTP 自动化。

[](https://github.com/D4Vinci/Scrapling) [](https://modelcontextprotocol.io) [](LICENSE) [](https://www.python.org/downloads/) [](https://docs.astral.sh/uv/)

---

🔥 热门推荐

| # | 标题 | 关键词 | |---|---|---| | 01 | AI 时代最強 Web 抓取工具？Scrapling MCP 完整评测 | AI, Scraping, MCP | | 02 | Claude Code 直接抓取任意网页！MCP 协议实战 | Claude Code, MCP | | 03 | 告别被屏蔽！Scrapling 三引擎绕过 Cloudflare Turnstile | Cloudflare, 反爬 | | 04 | ChatGPT / Claude 如何实时抓取网页内容？MCP 服务器详解 | ChatGPT, Claude, MCP | | 05 | 2026 年最值得关注的 Python 开源爬虫框架：Scrapling | Python, 爬虫, 开源 | | 06 | 从零搭建 AI 爬虫：Scrapling MCP Server 完整教程 | 教程, 爬虫, AI | | 07 | 还在用 BeautifulSoup？Scrapling 快 774 倍的秘密 | BeautifulSoup, 性能 | | 08 | 绕过 Cloudflare 验证码的终极方案（无需付费 API） | Cloudflare, 免费 | | 09 | x.com (Twitter) 数据抓取实战：Cookie 注入 + 浏览器渲染 | x.com, 数据抓取 | | 10 | OpenCode / Codex CLI / Claude Code 三端 MCP 配置指南 | OpenCode, Codex, Claude | | 11 | Selenium 已死？Scrapling 隐身浏览器模式实测对比 | Selenium, 对比 | | 12 | 语雀 / Notion / 知乎 SPA 页面抓取方案 | 语雀, SPA, JS渲染 | | 13 | reCAPTCHA v3 Enterprise 绕过实战：StealthyFetcher 配置 | reCAPTCHA, 反检测 | | 14 | Web Scraping 避坑指南：2026 年反爬技术全景 | 反爬, 技术分析 | | 15 | 2FA TOTP 自动验证：pyotp + Scrapling 登录自动化 | 2FA, TOTP, 自动化 | | 16 | 端到端加密网页（WhatsApp/Signal）如何自动化抓取 | E2EE, WhatsApp, Signal | | 17 | uvx vs pip：Python 包管理新时代的选择 | uv, pip, Python | | 18 | AI Agent 必备：MCP 协议实现 Web 抓取能力 | AI Agent, MCP | | 19 | 爬虫工程师的瑞士军刀：Scrapling MCP 全场景测试报告 | 爬虫, 测试 | | 20 | 从 HTTP 到隐身浏览器：Scrapling 三层引擎设计哲学 | 架构, 设计 |

> 💡 以上标题均可直接在知乎、掘金、V2EX、开源中国、CSDN 等平台发布引流

---

📋 概述

Scrapling MCP Server 将 Scrapling 的 Web 抓取能力以 MCP (Model Context Protocol) 标准接口暴露给 AI 客户端（Claude Code、OpenCode、Codex CLI 等），使 AI 能够直接抓取和提取任意网页内容。

核心特性

| 特性 | 说明 | |---|---| | 三引擎架构 | get (静态) → fetch (浏览器) → stealthy_fetch (隐身) | | Cloudflare 绕过 | 自动解 Turnstile / Interstitial 验证码 | | JS 动态渲染 | 基于 Playwright Chromium，完整执行 JavaScript | | CSS 精准提取 | 支持 CSS 选择器，只返回目标元素 | | 批量并行 | bulk_get / bulk_fetch / bulk_stealthy_fetch 多 URL 并发 | | 反指纹检测 | TLS 指纹伪装、Canvas 噪声、WebRTC 屏蔽 | | Cookie 注入 | 支持从 Chrome 提取已登录 cookie | | 多格式输出 | HTML / Markdown / 纯文本三种输出格式 | | 代理支持 | HTTP 代理 + DNS-over-HTTPS 防泄漏 | | 广告拦截 | 内置 3500+ 广告域名拦截 |

---

🔧 快速开始

前置条件

• Python 3.10+
• uv（推荐）或 pip
• 可选：Google Chrome（用于 --real-chrome 模式）

安装

# 1. 安装 Scrapling（含 MCP 和浏览器依赖）
pip install "scrapling[ai]"  # 或 uv pip install "scrapling[ai]"

# 2. 下载浏览器依赖（首次）
scrapling install --force

MCP 配置

在 AI 客户端的 MCP 配置文件中添加：

{
  "mcpServers": {
    "scrapling": {
      "type": "stdio",
      "command": "uvx",
      "args": [
        "--from",
        "scrapling[ai]",
        "scrapling",
        "mcp"
      ]
    }
  }
}

> 注意： 必须使用 scrapling[ai]（带 extras），否则缺少 click 和 mcp 依赖导致连接失败。

各客户端配置路径

| 客户端 | 配置文件路径 | |---|---| | Claude Desktop | ~/Library/Application Support/Claude/claude_desktop_config.json | | Claude Code | .claude/settings.local.json + 项目 .mcp.json | | OpenCode | opencode mcp add scrapling -- uvx --from "scrapling[ai]" scrapling mcp | | Codex CLI | codex mcp add scrapling -- uvx --from "scrapling[ai]" scrapling mcp | | Cursor | 项目 .cursor/mcp.json | | Windsurf | 项目 .windsurf/mcp.json |

---

🚀 使用指南

通过 AI 对话（MCP 协议）

在 AI 对话中直接描述需求，AI 会自动选择合适的工具：

帮我抓取 https://example.com 的内容，转成 Markdown
→ AI 调用 get()

绕过 Cloudflare 抓取 https://blocked-site.com
→ AI 调用 stealthy_fetch(solve_cloudflare: true)

用浏览器渲染后抓取这个 SPA 页面
→ AI 调用 fetch()

通过 CLI

# 静态页面
scrapling extract get --ai-targeted "https://example.com" output.md

# 浏览器渲染
scrapling extract fetch --headless --network-idle "https://spa-site.com" output.md

# Cloudflare 绕过
scrapling extract stealthy-fetch --solve-cloudflare "https://cf-site.com" output.md

# CSS 精准提取
scrapling extract get -s "article.content" "https://example.com" output.html

# POST 请求
scrapling extract post -j '{"key":"value"}' "https://api.example.com" output.md

通过 Python API

from scrapling.fetchers import DynamicFetcher

result = DynamicFetcher.fetch(
    "https://example.com",
    headless=True,
    network_idle=True,
    main_content_only=True,
    timeout=60000,
)
print(result.text)

---

📚 工具详解

第一层：get — 静态 HTTP

基于 curl_cffi，模拟浏览器 TLS 指纹 + HTTP 头。

| 参数 | 类型 | 默认值 | 说明 | |---|---|---|---| | url | string | — | 目标 URL（必填） | | css_selector | string | — | CSS 选择器 | | extraction_type | string | markdown | markdown / html / text | | main_content_only | bool | false | 只提取正文 | | timeout | int | 30 | 超时秒数 | | impersonate | string | chrome | 浏览器指纹 | | proxy | string | — | HTTP 代理 | | headers | object | — | 自定义请求头 | | cookies | string | — | Cookie 字符串 |

第二层：fetch — 动态浏览器

基于 Playwright Chromium，完整 JS 执行。

| 参数 | 类型 | 默认值 | 说明 | |---|---|---|---| | url | string | — | 目标 URL | | wait_selector | string | — | 等待元素出现 | | network_idle | bool | false | 等待网络空闲 | | block_ads | bool | false | 拦截广告 | | disable_resources | bool | false | 禁用图片字体 | | real_chrome | bool | false | 用系统 Chrome | | locale | string | — | 浏览器语言 |

第三层：stealthy_fetch — 隐身浏览器

基于 StealthyFetcher，增加反检测能力。

| 参数 | 类型 | 默认值 | 说明 | |---|---|---|---| | solve_cloudflare | bool | false | ⭐ 解 Cloudflare 验证码 | | block_webrtc | bool | false | 屏蔽 WebRTC | | hide_canvas | bool | false | Canvas 指纹噪声 | | allow_webgl | bool | true | WebGL 控制 |

Bulk 系列

| 工具 | 说明 | |---|---| | bulk_get | 并行 HTTP 抓取多个 URL | | bulk_fetch | 并行浏览器渲染多个 URL | | bulk_stealthy_fetch | 并行隐身抓取多个 URL |

---

🔥 高级场景

x.com (Twitter) 抓取

import browser_cookie3
from scrapling.fetchers import DynamicFetcher

# 从 Chrome 提取已登录的 x.com cookie
cj = browser_cookie3.chrome(domain_name="x.com")
cookies = [{"name": c.name, "value": c.value, "domain": ".x.com", "path": "/"} for c in cj]

result = DynamicFetcher.fetch(
    "https://x.com/elonmusk",
    headless=True,
    network_idle=True,
    timeout=180000,
    cookies=cookies,
    wait=5000,
)

reCAPTCHA v3 Enterprise 绕过

stealthy_fetch(
  url: "https://target.com",
  solve_cloudflare: true,
  block_webrtc: true,
  hide_canvas: true,
  allow_webgl: false,
  headless: false
)

2FA TOTP 自动生成

import pyotp, base64, binascii

# hex 格式密钥
secret_hex = "你的32位hex密钥"
raw = binascii.unhexlify(secret_hex)
secret_b32 = base64.b32encode(raw).decode()
totp = pyotp.TOTP(secret_b32)
code = totp.now()  # → 6位验证码

E2EE 应用 Session 持久化

open_session(name: "whatsapp", headless: false)
// 首次扫码 → 之后全自动

---

🔧 故障排除

| 问题 | 原因 | 解决 | |---|---|---| | Connection closed | 缺少 [ai] extras | 用 scrapling[ai] 安装 | | ModuleNotFoundError: No module named 'click' | 缺少 CLI 依赖 | pip install "scrapling[fetchers]" | | Cloudflare 无法绕过 | 需要 stealthy_fetch | 用 stealthy_fetch 非 get | | x.com 返回空 | 需要登录态 | 注入 Chrome cookie | | 超时 | 网络/代理问题 | 增加 timeout / 检查代理 |

---

🙏 致谢

本项目基于 Scrapling 开源项目改编，感谢原作者 Karim Shoair (D4Vinci) 的杰出工作。

Scrapling 是一个功能强大的 Web 抓取框架：

• GitHub: https://github.com/D4Vinci/Scrapling
• 文档: https://scrapling.readthedocs.io/
• PyPI: https://pypi.org/project/scrapling/

---

📄 许可证

[MIT License](LICENSE) — 基于 Scrapling (BSD License) 改编

Source & license

This open-source MCP server is cataloged on AgentStack and links to its original source — we do not rehost the code.

• Author: you922
• Source: you922/scrapling-mcp
• License: MIT
• Homepage: https://github.com/D4Vinci/Scrapling

Install and usage instructions live in the source repository linked above.