Comparaison des convertisseurs Webpage vers Markdown avec Jina Reader, Pandoc et Firecrawl| Convertisseur de pages Web en Markdown (SiteGPT) | Jina Reader | Pandoc | Firecrawl |
|---|
| Entrée et sortie : Cet outil prend une URL en entrée et génère le texte principal, les en-têtes et les liens au format Markdown, après suppression des barres de navigation, des pieds de page et des scripts de suivi. Le résultat est destiné à l'intégration de données LLM, aux bases de connaissances et aux systèmes de documentation. | Entrée et sortie : Pour utiliser Reader, il suffit d'ajouter r.jina.ai au début de l'URL. Le format de sortie par défaut est Markdown ; si l'en-tête Accept le demande, un JSON contenant l'URL, le titre, le contenu et l'horodatage est renvoyé. L'extraction structurée est possible grâce à un en-tête de schéma et au modèle ReaderLM-v2. | Entrée et sortie : Pandoc est un convertisseur de documents compatible avec de nombreux formats de balisage, notamment HTML, plusieurs variantes de Markdown, LaTeX, docx, EPUB et les notebooks Jupyter. Il convertit les documents que vous possédez déjà et ne se présente pas comme un extracteur de contenu web. | Entrée et sortie : La fonction « scrape » renvoie du Markdown, du HTML, des captures d'écran ou du JSON structuré. La fonction « parse » convertit les fichiers PDF et DOCX en Markdown, et la fonction « map » renvoie les liens trouvés sur un site. |
| Échelle d'utilisation : La description présente un utilitaire qui convertit une URL à la fois. | Échelle d'utilisation : Reader propose également un mode de recherche, s.jina.ai, qui affiche les cinq meilleurs résultats avec leur contenu. La limite de requêtes dépend du niveau de la clé ; la clé gratuite est limitée à 500 requêtes par minute pour Reader. | Échelle d'utilisation : Pandoc s'exécute à la fois comme un programme en ligne de commande et comme une bibliothèque Haskell. | Échelle d'utilisation : Les points de terminaison Crawl, Batch Scrape et Search permettent de traiter des sites entiers et de nombreuses pages via une API. |
| Ouverture et auto-hébergement : Le code du service Reader se trouve sur le dépôt GitHub de Jina AI. Le modèle ReaderLM-v2 est sous licence CC-BY-NC 4.0, ce qui, selon le fournisseur, n'est pas une licence libre et son utilisation commerciale nécessite une licence distincte. | Ouverture et auto-hébergement : Pandoc est un logiciel libre distribué sous licence GPL, dont les droits d'auteur appartiennent à John MacFarlane. | Ouverture et auto-hébergement : Le dépôt principal est sous licence AGPL-3.0, tandis que les SDK sont sous licence MIT. L'auto-hébergement est possible avec Docker Compose, mais la documentation du fournisseur indique que la configuration par défaut n'est pas adaptée à la production et que la gestion avancée des bots et les captures d'écran sont des fonctionnalités cloud. |
| Modèle d'accès et de coût : L'utilisation de base fonctionne sans clé, avec la limite minimale de 20 requêtes par minute. Une clé permet d'augmenter ces limites, et l'utilisation payante est facturée en jetons en fonction de la longueur du contenu. Les nouvelles clés incluent des jetons gratuits. | Modèle d'accès et de coût : Logiciel gratuit sans compte ni quota. | Modèle d'accès et de coût : Une formule gratuite est disponible avec 1 000 crédits par mois, sans carte bancaire. Le scraping coûte 1 crédit par page, l'extraction JSON ajoute des crédits, et des abonnements payants ainsi que des recharges à la carte sont proposés. |
