Big Data Analytics - Outils d'analyse de données

Il existe une variété d'outils qui permettent à un data scientist d'analyser efficacement les données. Normalement, l'aspect ingénierie de l'analyse des données se concentre sur les bases de données, le scientifique des données se concentre sur les outils qui peuvent mettre en œuvre des produits de données. La section suivante examine les avantages de différents outils en mettant l'accent sur les progiciels statistiques que les scientifiques utilisent le plus souvent dans la pratique.

Langage de programmation R

R est un langage de programmation open source axé sur l'analyse statistique. Il est compétitif avec des outils commerciaux tels que SAS, SPSS en termes de capacités statistiques. On pense qu'il s'agit d'une interface avec d'autres langages de programmation tels que C, C ++ ou Fortran.

Un autre avantage de R est le grand nombre de bibliothèques open source disponibles. Dans CRAN, il y a plus de 6000 packages qui peuvent être téléchargés gratuitement et enGithub il existe une grande variété de packages R disponibles.

En termes de performances, R est lent pour les opérations intensives, étant donné le grand nombre de bibliothèques disponibles, les sections lentes du code sont écrites dans des langages compilés. Mais si vous avez l'intention de faire des opérations qui nécessitent une écriture profonde de boucles for, alors R ne serait pas votre meilleure alternative. À des fins d'analyse de données, il existe de belles bibliothèques telles quedata.table, glmnet, ranger, xgboost, ggplot2, caret qui permettent d'utiliser R comme interface vers des langages de programmation plus rapides.

Python pour l'analyse des données

Python est un langage de programmation à usage général et il contient un nombre important de bibliothèques consacrées à l'analyse de données telles que pandas, scikit-learn, theano, numpy et scipy.

La plupart de ce qui est disponible dans R peut également être fait en Python, mais nous avons constaté que R est plus simple à utiliser. Dans le cas où vous travaillez avec de grands ensembles de données, normalement Python est un meilleur choix que R. Python peut être utilisé assez efficacement pour nettoyer et traiter les données ligne par ligne. C'est possible à partir de R mais ce n'est pas aussi efficace que Python pour les tâches de script.

Pour l'apprentissage automatique, scikit-learnest un environnement agréable qui dispose d'une grande quantité d'algorithmes qui peuvent gérer sans problème des ensembles de données de taille moyenne. Par rapport à la bibliothèque équivalente de R (caret),scikit-learn a une API plus propre et plus cohérente.

Julia

Julia est un langage de programmation dynamique de haut niveau et hautes performances pour le calcul technique. Sa syntaxe est assez similaire à R ou Python, donc si vous travaillez déjà avec R ou Python, il devrait être assez simple d'écrire le même code dans Julia. La langue est assez nouvelle et s'est considérablement développée ces dernières années, c'est donc définitivement une option pour le moment.

Nous recommandons Julia pour le prototypage d'algorithmes à forte intensité de calcul, tels que les réseaux de neurones. C'est un excellent outil de recherche. En termes d'implémentation d'un modèle en production, Python a probablement de meilleures alternatives. Cependant, cela devient moins un problème car il existe des services Web qui font l'ingénierie d'implémentation de modèles en R, Python et Julia.

SAS

SAS est un langage commercial toujours utilisé pour l'intelligence d'affaires. Il a une langue de base qui permet à l'utilisateur de programmer une grande variété d'applications. Il contient un certain nombre de produits commerciaux qui donnent aux utilisateurs non experts la possibilité d'utiliser des outils complexes tels qu'une bibliothèque de réseaux neuronaux sans avoir besoin de programmation.

Au-delà de l'inconvénient évident des outils commerciaux, SAS ne s'adapte pas bien aux grands ensembles de données. Même un ensemble de données de taille moyenne aura des problèmes avec SAS et fera planter le serveur. Uniquement si vous travaillez avec de petits ensembles de données et que les utilisateurs ne sont pas des experts en science des données, SAS est à recommander. Pour les utilisateurs avancés, R et Python offrent un environnement plus productif.

SPSS

SPSS, est actuellement un produit d'IBM pour l'analyse statistique. Il est principalement utilisé pour analyser les données d'enquête et pour les utilisateurs qui ne sont pas en mesure de programmer, c'est une alternative décente. Il est probablement aussi simple à utiliser que SAS, mais en termes d'implémentation d'un modèle, il est plus simple car il fournit un code SQL pour évaluer un modèle. Ce code n'est normalement pas efficace, mais c'est un début alors que SAS vend le produit qui note les modèles pour chaque base de données séparément. Pour les petites données et une équipe inexpérimentée, SPSS est une option aussi bonne que SAS.

Le logiciel est cependant plutôt limité, et les utilisateurs expérimentés seront des ordres de grandeur plus productifs en utilisant R ou Python.

Matlab, Octave

Il existe d'autres outils disponibles comme Matlab ou sa version open source (Octave). Ces outils sont principalement utilisés pour la recherche. En termes de capacités, R ou Python peuvent faire tout ce qui est disponible dans Matlab ou Octave. L'achat d'une licence du produit n'a de sens que si vous êtes intéressé par l'assistance qu'ils fournissent.