网页转 Markdown 转换器与 Jina Reader、Pandoc 和 Firecrawl 的比较| 网页转 Markdown 转换器 (SiteGPT) | Jina Reader | 潘多克 | 火行者 |
|---|
| 输入和输出: 该工具接收一个 URL,移除导航栏、页脚和跟踪脚本后,将正文、标题和链接提取出来,并以 Markdown 格式返回。输出结果适用于 LLM 数据导入、知识库和文档系统。 | 输入和输出: 使用 Reader 时,只需在 URL 前添加 r.jina.ai 即可。默认输出格式为 Markdown,如果 Accept 请求头要求,则会返回包含 URL、标题、内容和时间戳的 JSON 数据。通过 schema 请求头和 ReaderLM-v2 模型,可以进行结构化数据提取。 | 输入和输出: Pandoc 是一款文档转换器,支持多种标记格式之间的转换,包括 HTML、多种 Markdown 版本、LaTeX、docx、EPUB 和 Jupyter Notebook。它可以转换您已有的文档,并且并非网页内容提取器。 | 输入和输出: 抓取操作会返回 Markdown、HTML、屏幕截图或结构化 JSON 文件。解析操作会将 PDF 和 DOCX 文件转换为 Markdown 格式,而映射操作则会返回网站上发现的链接。 |
| 使用规模: 该描述介绍了一种一次转换一个 URL 的实用程序。 | 使用规模: Reader 还具备搜索模式 s.jina.ai,可返回搜索结果前五条及其内容。速率限制取决于密钥等级,免费密钥每分钟可进行 500 次 Reader 请求。 | 使用规模: Pandoc 既可以作为命令行程序运行,也可以作为 Haskell 库运行。 | 使用规模: 抓取、批量抓取和搜索端点允许通过 API 处理整个网站和许多页面。 |
| 开放性和自托管: Reader 服务代码位于 Jina AI 的 GitHub 组织中。ReaderLM-v2 模型采用 CC-BY-NC 4.0 许可,供应商声明该许可并非开源许可,商业用途需要单独的许可。 | 开放性和自托管: Pandoc 是根据 GPL 协议发布的自由软件,版权归 John MacFarlane 所有。 | 开放性和自托管: 主代码库采用 AGPL-3.0 许可,SDK 采用 MIT 许可。可以使用 Docker Compose 进行自托管,但供应商文档指出,默认堆栈尚未达到生产就绪状态,高级反机器人处理和屏幕截图功能属于云端特性。 |
| 接入和成本模式: 基本功能无需密钥即可使用,但速率限制最低,为每分钟 20 次请求。密钥可提高速率限制,付费功能则根据内容时长以代币形式计费。新密钥包含免费代币。 | 接入和成本模式: 免费软件,无需注册账号或配额限制。 | 接入和成本模式: 免费套餐每月包含 1000 点数,无需信用卡。抓取数据每页消耗 1 点数,提取 JSON 数据也需要消耗点数,此外还提供付费订阅和按需充值服务。 |