Une bibliothèque Python open source flexible pour le calcul parallèle, permettant d'adapter des outils Python familiers comme NumPy, pandas et scikit-learn à des ensembles de données plus volumineux que la mémoire disponible ou à des environnements distribués.
Dask
- Python
- IA et apprentissage automatique, Analyse des données, Mathématiques, Simulation
- Artificial Intelligence (AI), Informatique en nuage, Machine Learning, Logiciel, Logiciel en tant que service (SaaS), Expérience utilisateur (UX), Interface utilisateur (UI)
Caractéristiques :
- Collections parallèles (tableaux, dataframes, sacs), planification dynamique des tâches, mise à l'échelle de NumPy, pandas et scikit-learn, calcul hors mémoire, calcul distribué sur plusieurs clusters, tableau de bord pour les diagnostics et la surveillance des calculs.
Prix :
- Gratuit
- Adapte les bibliothèques Python familières au traitement des données massives, s'intègre facilement aux flux de travail existants, est flexible pour différents types de parallélisme (multicœur, distribué) et fournit des diagnostics utiles.
- Ajoute une couche de complexité par rapport à l'utilisation directe de pandas/NumPy pour les petits ensembles de données, l'optimisation des performances pour les calculs distribués complexes peut être difficile, la gestion de la mémoire peut nécessiter une attention particulière.
Idéal pour :
- Les data scientists et les ingénieurs travaillant avec des ensembles de données trop volumineux pour tenir en mémoire ou qui ont besoin d'accélérer des tâches nécessitant une puissance de calcul importante en tirant parti de processeurs multicœurs ou de clusters distribués.