Conversor de páginas da web para Markdown comparado com Jina Reader, Pandoc e Firecrawl| Conversor de página web para Markdown (SiteGPT) | Leitora Jina | Pandoc | Firecrawl |
|---|
| Entrada e saída: A ferramenta recebe uma URL e retorna o texto principal, cabeçalhos e links em Markdown, após remover barras de navegação, rodapés e scripts de rastreamento. O resultado é destinado à ingestão em sistemas de gestão de conhecimento (LLM), bases de conhecimento e sistemas de documentação. | Entrada e saída: O Reader é utilizado adicionando r.jina.ai ao início de uma URL. O formato de saída padrão é Markdown, e um JSON contendo URL, título, conteúdo e carimbo de data/hora é retornado quando o cabeçalho Accept o solicita. A extração estruturada é possível através de um cabeçalho de esquema e do modelo ReaderLM-v2. | Entrada e saída: O Pandoc é um conversor de documentos que funciona entre diversos formatos de marcação, incluindo HTML, várias variantes de Markdown, LaTeX, docx, EPUB e notebooks Jupyter. Ele converte documentos que você já possui e não se apresenta como um extrator de conteúdo da web. | Entrada e saída: A função `scrape` retorna Markdown, HTML, capturas de tela ou JSON estruturado. A função `parse` converte arquivos PDF e DOCX em Markdown, e a função `map` retorna os links encontrados em um site. |
| Escala de utilização: A descrição apresenta um utilitário que converte uma URL por vez. | Escala de utilização: O Reader também possui um modo de busca, s.jina.ai, que retorna os cinco primeiros resultados com seus respectivos conteúdos. Os limites de requisições dependem do nível da chave, e uma chave gratuita permite 500 requisições por minuto para o Reader. | Escala de utilização: O Pandoc funciona como um programa de linha de comando e como uma biblioteca Haskell. | Escala de utilização: Os endpoints Crawl, Batch Scrape e Search permitem que sites inteiros e muitas páginas sejam processados por meio de uma API. |
| Abertura e autogestão: O código do serviço Reader está disponível no repositório GitHub da Jina AI. O modelo ReaderLM-v2 está sob a licença CC-BY-NC 4.0, que, segundo o fornecedor, não é uma licença de código aberto, sendo necessária uma licença separada para uso comercial. | Abertura e autogestão: O Pandoc é um software livre distribuído sob a licença GPL, com direitos autorais pertencentes a John MacFarlane. | Abertura e autogestão: O repositório principal está sob a licença AGPL-3.0, com os SDKs sob a licença MIT. É possível hospedar o repositório em seu próprio servidor usando o Docker Compose, mas o fornecedor informa que a configuração padrão não está pronta para produção e que os recursos avançados de anti-bots e capturas de tela são funcionalidades exclusivas da nuvem. |
| Modelo de acesso e custos: O uso básico funciona sem chave, com o limite mínimo de 20 requisições por minuto. Uma chave aumenta os limites, e o uso pago é cobrado em tokens com base na duração do conteúdo. Novas chaves incluem tokens gratuitos. | Modelo de acesso e custos: Software gratuito, sem necessidade de conta ou franquia. | Modelo de acesso e custos: Existe um plano gratuito com 1.000 créditos por mês, sem necessidade de cartão. A extração de dados (scraping) custa 1 crédito por página, a extração de JSON adiciona créditos, e estão disponíveis assinaturas pagas e recargas avulsas. |
