Science des données agile - SparkML
La bibliothèque d'apprentissage automatique, également appelée «SparkML» ou «MLLib», comprend des algorithmes d'apprentissage communs, notamment la classification, la régression, le clustering et le filtrage collaboratif.
Pourquoi apprendre SparkML pour Agile?
Spark devient la plate-forme de facto pour la création d'algorithmes et d'applications d'apprentissage automatique. Les développeurs travaillent sur Spark pour implémenter des algorithmes de machine de manière évolutive et concise dans le framework Spark. Nous apprendrons les concepts du Machine Learning, ses utilitaires et ses algorithmes avec ce framework. Agile opte toujours pour un framework, qui fournit des résultats courts et rapides.
Algorithmes ML
Les algorithmes de ML incluent des algorithmes d'apprentissage courants tels que la classification, la régression, le clustering et le filtrage collaboratif.
traits
Il comprend l'extraction, la transformation, la réduction des dimensions et la sélection des caractéristiques.
Pipelines
Les pipelines fournissent des outils pour la construction, l'évaluation et le réglage des pipelines d'apprentissage automatique.
Algorithmes populaires
Voici quelques algorithmes populaires -
Statistiques de base
Regression
Classification
Système de recommandation
Clustering
Réduction de dimensionnalité
Extraction de caractéristiques
Optimization
Système de recommandation
Un système de recommandation est une sous-classe de système de filtrage d'informations qui cherche à prédire la «note» et la «préférence» qu'un utilisateur suggère à un élément donné.
Le système de recommandation comprend divers systèmes de filtrage, qui sont utilisés comme suit -
Filtrage collaboratif
Cela comprend la construction d'un modèle basé sur le comportement passé ainsi que sur des décisions similaires prises par d'autres utilisateurs. Ce modèle de filtrage spécifique est utilisé pour prédire les éléments qu'un utilisateur souhaite intégrer.
Filtrage basé sur le contenu
Il inclut le filtrage des caractéristiques discrètes d'un article afin de recommander et d'ajouter de nouveaux articles avec des propriétés similaires.
Dans nos chapitres suivants, nous nous concentrerons sur l'utilisation du système de recommandation pour résoudre un problème spécifique et améliorer les performances de prédiction du point de vue de la méthodologie agile.