webfetch

抓取网页并转换为 Markdown / 纯文本 / HTML 的 CLI 工具。

功能特性

• 多格式输出 — 一键转换为 Markdown（默认）、纯文本或保留原始 HTML
• 快速抓取 — JSON / XML / Markdown 响应直接使用 Node fetch 返回原文，无需启动无头浏览器
• JavaScript 渲染 — 基于无头浏览器，支持 SPA、懒加载、动态渲染页面
• 智能内容提取 — 自动选取页面主体内容：main > article > #content > .content > body
• 清洁输出 — 移除 script、style、noscript、iframe 及图片引用等非内容元素
• 代理支持 — 自动读取环境变量代理配置，支持 --proxy 手动指定
• 灵活超时 — 超时时间可配置（最大 120 秒），适配慢速站点
• TLS 容错 — 可跳过证书校验，应对自签名证书场景

安装

A. agent skill

本仓库提供 skills/webfetch/SKILL.md，封装了 webfetch 的命令行用法，可直接用于 Claude Code、OpenCode、Cursor 等 AI 编程工具，方便 AI 代理抓取网页、网页转 Markdown 等场景。

npx -y skills add https://github.com/seepine/webfetch -g -y

B. cli

npm install -g @seepine/webfetch

要求 Node.js >= 22.12（由 puppeteer / commander 的最低版本决定）。

使用方法

webfetch <url> [options]

参数说明

参数	简写	说明	默认值
--format	-f	输出格式：markdown、text、html	markdown
--timeout	-t	超时时间（秒），最大 120	30
--output	-o	保存到指定文件（无扩展名时自动补 .md）	-
--proxy		代理服务器地址（优先级最高）	-
--insecure		跳过 TLS 证书验证	false
--help	-h	显示帮助	-
--version	-V	显示版本	-

示例

# 抓取并转换为 Markdown（默认）
webfetch "https://example.com"

# 输出纯文本
webfetch "https://example.com" -f text

# 输出原始 HTML
webfetch "https://example.com" -f html

# 保存到文件
webfetch "https://example.com" -o output.md

# 自定义超时
webfetch "https://example.com" --timeout 60

# 使用代理
webfetch "https://example.com" --proxy http://proxy:8080

# 跳过证书验证（自签名证书场景）
webfetch "https://example.com" --insecure

# 抓取文章并保存
webfetch "https://example.com/article" -o article.md

代理配置

当网络环境需要代理时，有两种方式：

方式一：环境变量（推荐）

export HTTPS_PROXY=http://proxy:8080
webfetch "https://example.com"

方式二：命令行参数（优先级最高）

webfetch "https://example.com" --proxy http://proxy:8080

环境变量

变量	说明
HTTP_PROXY	HTTP 请求代理
HTTPS_PROXY	HTTPS 请求代理
NO_PROXY	跳过代理的主机列表

开发

pnpm cli       # 直接运行 CLI（tsx 执行 TypeScript）
pnpm build     # 构建发布版本（tsdown + chmod）
pnpm check     # 格式检查 + 类型检查
pnpm tsc       # 类型检查（不生成文件）
pnpm format    # 使用 Prettier 格式化代码

许可证

MIT