إطار عمل مفتوح المصدر وتعاوني لاستخراج البيانات التي تحتاجها من مواقع الويب بطريقة سريعة وبسيطة وقابلة للتوسيع.
سكرابي
- بايثون
- الأتمتة, تحليل البيانات, إدارة دورة حياة المنتج وتخطيط موارد المؤسسة
- واجهة برمجة التطبيقات (API), برمجة, مجموعة تطوير البرمجيات (SDK), واجهة المستخدم (UI)
الميزات:
- الزحف على الويب (تتبع الروابط، إدارة الجلسات)، استخراج البيانات من الويب (استخراج البيانات باستخدام مُحدِّدات CSS، XPath، RegEx)، الشبكات غير المتزامنة (المبنية على Twisted)، مسارات معالجة البيانات وتخزينها، برامج وسيطة لتوسيع الوظائف، معالجة ملفات robots.txt، دعم مدمج لتصدير البيانات (JSON، CSV، XML)، إدارة برامج الزحف، معالجة الأخطاء بكفاءة عالية
التسعير:
- حر
- قوي ومرن لمهام استخراج البيانات والزحف المعقدة على الويب، ويتعامل مع الطلبات غير المتزامنة بكفاءة، وذو بنية قابلة للتوسيع، ومناسب لمشاريع استخراج البيانات واسعة النطاق، وله مجتمع نشط.
- منحنى التعلم حاد للمبتدئين، ويمكن أن يكون مبالغًا فيه لمهام الكشط البسيطة جدًا (قد يكون استخدام BeautifulSoup + Requests أسهل)، ويتطلب فهم مفاهيم البرمجة غير المتزامنة للتخصيص المتقدم.
الأفضل لـ:
- المطورون ومهندسو البيانات الذين يقومون ببناء برامج زحف الويب وبرامج استخراج البيانات القوية والقابلة للتوسع لمشاريع استخراج البيانات واسعة النطاق.