웹페이지를 마크다운으로 변환하는 도구를 Jina Reader, Pandoc, Firecrawl과 비교해 보았습니다.| 웹페이지를 마크다운으로 변환하는 도구(SiteGPT) | 지나 독자 | 판독 | 파이어크롤 |
|---|
| 입력 및 출력: 이 도구는 URL을 입력받아 내비게이션 바, 푸터 및 추적 스크립트를 제거한 후 본문, 헤더 및 링크를 마크다운 형식으로 반환합니다. 이 출력물은 LLM(Learning Language Modeling) 데이터 수집, 지식 기반 및 문서 시스템에 사용하기에 적합합니다. | 입력 및 출력: Reader는 URL 앞에 r.jina.ai를 추가하여 사용합니다. 기본 출력 형식은 Markdown이며, Accept 헤더에서 요청하는 경우 URL, 제목, 내용 및 타임스탬프가 포함된 JSON이 반환됩니다. 스키마 헤더와 ReaderLM-v2 모델을 통해 구조화된 데이터 추출도 가능합니다. | 입력 및 출력: Pandoc은 HTML, 다양한 Markdown 변형, LaTeX, docx, EPUB 및 Jupyter Notebook을 포함한 여러 마크업 형식 간의 문서 변환을 지원하는 도구입니다. 이미 보유하고 있는 문서를 변환하며, 웹 콘텐츠 추출 도구로 제공되지는 않습니다. | 입력 및 출력: 스크래핑은 마크다운, HTML, 스크린샷 또는 구조화된 JSON을 반환합니다. 파싱은 PDF 및 DOCX 파일을 마크다운으로 변환하고, 맵은 사이트에서 발견된 링크를 반환합니다. |
| 사용 규모: 이 설명은 URL을 하나씩 변환하는 유틸리티를 소개합니다. | 사용 규모: Reader에는 검색 모드(s.jina.ai)도 있으며, 검색 결과는 상위 5개 항목과 해당 콘텐츠를 보여줍니다. 요청 횟수 제한은 키 등급에 따라 다르며, 무료 키의 경우 Reader에 대해 분당 500회 요청이 허용됩니다. | 사용 규모: Pandoc은 명령줄 프로그램으로도, Haskell 라이브러리로도 실행됩니다. | 사용 규모: 크롤링, 일괄 스크래핑 및 검색 엔드포인트를 통해 전체 사이트와 여러 페이지를 API를 통해 처리할 수 있습니다. |
| 개방성과 자체 호스팅: Reader 서비스 코드는 Jina AI의 GitHub 조직에 있습니다. ReaderLM-v2 모델은 CC-BY-NC 4.0 라이선스 하에 배포되지만, 공급업체는 이것이 오픈 소스 라이선스가 아니며 상업적 사용을 위해서는 별도의 라이선스가 필요하다고 명시하고 있습니다. | 개방성과 자체 호스팅: Pandoc은 GPL 라이선스 하에 배포되는 무료 소프트웨어이며, 저작권은 John MacFarlane이 보유하고 있습니다. | 개방성과 자체 호스팅: 메인 저장소는 AGPL-3.0 라이선스 하에 있으며, SDK는 MIT 라이선스 하에 있습니다. Docker Compose를 사용하여 자체 호스팅이 가능하지만, 공급업체는 기본 스택이 프로덕션 환경에 적합하지 않으며 고급 봇 방지 및 스크린샷 기능은 클라우드 환경에서만 사용할 수 있다고 명시하고 있습니다. |
| 접근 및 비용 모델: 기본 사용은 키 없이 분당 20건의 요청으로 제한되는 가장 낮은 사용량 제한으로 작동합니다. 키를 사용하면 제한이 늘어나며, 유료 사용은 콘텐츠 길이에 따라 토큰 단위로 청구됩니다. 새 키에는 무료 토큰이 포함됩니다. | 접근 및 비용 모델: 계정이나 사용량 제한이 없는 무료 소프트웨어입니다. | 접근 및 비용 모델: 무료 플랜은 월 1,000 크레딧을 제공하며 카드 정보는 필요하지 않습니다. 스크래핑은 페이지당 1 크레딧이 소모되며, JSON 추출 시 크레딧이 추가됩니다. 유료 구독 및 사용량에 따른 충전 방식도 이용 가능합니다. |