Spécialisation Exploration de données

Ces dernières années ont été marquées par une croissance spectaculaire des données textuelles en langage naturel, notamment les pages web, les articles de presse, la littérature scientifique, les courriers électroniques, les documents d'entreprise et les médias sociaux tels que les articles de blog, les messages de forum, les critiques de produits et les tweets. Les données textuelles sont uniques en ce sens qu'elles sont généralement générées directement par des humains plutôt que par un système informatique ou des capteurs, et sont donc particulièrement précieuses pour découvrir des connaissances sur les opinions et les préférences des gens, en plus de nombreux autres types de connaissances que nous encodons dans le texte.

Ce cours abordera les technologies des moteurs de recherche, qui jouent un rôle important dans toutes les applications d'exploration de données impliquant des données textuelles, et ce pour deux raisons. Tout d'abord, bien que les données brutes puissent être volumineuses pour un problème particulier, c'est souvent un sous-ensemble relativement petit des données qui est pertinent, et un moteur de recherche est un outil essentiel pour découvrir rapidement un petit sous-ensemble de données textuelles pertinentes dans une grande collection de textes. Deuxièmement, les moteurs de recherche sont nécessaires pour aider les analystes à interpréter les modèles découverts dans les données en leur permettant d'examiner les données textuelles originales pertinentes afin de donner un sens à tout modèle découvert. Vous apprendrez les concepts de base, les principes et les principales techniques de recherche de texte, qui est la science sous-jacente des moteurs de recherche.

Ce cours couvrira les principales techniques d'exploration et d'analyse des données textuelles afin de découvrir des modèles intéressants, d'extraire des connaissances utiles et de soutenir la prise de décision, en mettant l'accent sur les approches statistiques qui peuvent être généralement appliquées à des données textuelles arbitraires dans n'importe quelle langue naturelle sans aucun effort humain ou avec un effort humain minimal.

L'analyse détaillée des données textuelles nécessite la compréhension du texte en langue naturelle, ce qui est connu pour être une tâche difficile pour les ordinateurs. Cependant, un certain nombre d'approches statistiques se sont avérées efficaces pour l'analyse "superficielle" mais robuste des données textuelles pour la recherche de modèles et la découverte de connaissances. Vous apprendrez les concepts de base, les principes et les principaux algorithmes du text mining et leurs applications potentielles.

Apprenez les concepts généraux du data mining ainsi que les méthodologies et applications de base. Plongez ensuite dans un sous-domaine du data mining : la découverte de modèles. Apprenez en profondeur les concepts, les méthodes et les applications de la découverte de modèles dans le data mining. Nous introduirons également des méthodes d'exploration de phrases basées sur les données et quelques applications intéressantes de la découverte de modèles. Ce cours vous donne l'opportunité d'acquérir des compétences et du contenu pour pratiquer et s'engager dans des méthodes de découverte de motifs évolutives sur des données transactionnelles massives, de discuter des mesures d'évaluation des motifs et d'étudier les méthodes d'extraction de divers types de motifs, de motifs séquentiels et de motifs de sous-graphes.

Découvrez les concepts de base de l'analyse en grappes, puis étudiez un ensemble de méthodologies, d'algorithmes et d'applications typiques de l'analyse en grappes. Cela inclut les méthodes de partitionnement telles que k-means, les méthodes hiérarchiques telles que BIRCH, et les méthodes basées sur la densité telles que DBSCAN/OPTICS. En outre, vous apprendrez des méthodes de validation et d'évaluation de la qualité du regroupement. Enfin, vous verrez des exemples d'analyse de grappes dans des applications.

Remarque : Vous devez avoir terminé tous les autres cours de cette spécialisation avant de commencer ce cours. Ce cours projet de six semaines de la spécialisation Data Mining vous permettra d'appliquer les algorithmes et les techniques d'exploration de données appris dans les cours précédents de la spécialisation, y compris la découverte de motifs, le clustering, la récupération de texte, l'exploration de texte et la visualisation, pour résoudre des défis intéressants d'exploration de données dans le monde réel. Plus précisément, vous travaillerez sur un ensemble de données de critiques de restaurants provenant de Yelp et utiliserez toutes les connaissances et compétences que vous avez acquises dans les cours précédents pour explorer cet ensemble de données afin de découvrir des connaissances intéressantes et utiles. La conception du projet met l'accent sur : 1) la simulation du flux de travail d'un mineur de données dans un contexte professionnel réel ; 2) l'intégration de différentes techniques d'exploration couvertes dans plusieurs cours individuels ; 3) l'expérimentation de différentes façons de résoudre un problème pour approfondir votre compréhension des techniques ; et 4) la possibilité de proposer et d'explorer vos propres idées de manière créative.

L'objectif du projet est d'analyser et d'exploiter un vaste ensemble de données d'évaluation de Yelp afin de découvrir des connaissances utiles pour aider les gens à prendre des décisions en matière de restauration. Le projet comprendra les résultats suivants : 1. Visualisation des avis : explorer et visualiser le contenu des avis pour comprendre ce que les gens ont dit dans ces avis. 2. Construction d'une carte des cuisines : exploiter l'ensemble des données pour comprendre le paysage des différents types de cuisines et leurs similitudes. 3. Découverte des plats populaires d'une cuisine : exploitez l'ensemble des données pour découvrir les plats communs/populaires d'une cuisine particulière. 4. Recommandation de restaurants pour aider les gens à décider où dîner : exploiter l'ensemble des données pour classer les restaurants pour un plat spécifique et prédire les conditions d'hygiène d'un restaurant. Du point de vue des utilisateurs, une carte des cuisines peut les aider à comprendre quelles cuisines existent et à avoir une vue d'ensemble de tous les types de cuisines et de leurs relations. Une fois qu'ils ont décidé de la cuisine à essayer, ils aimeraient connaître les plats les plus populaires de cette cuisine et décider des plats à prendre. Enfin, ils devront choisir un restaurant. Il serait donc utile de recommander des restaurants en fonction d'un plat particulier. En outre, prévoir les conditions d'hygiène d'un restaurant serait également utile. En travaillant sur ces tâches, vous acquerrez de l'expérience avec un flux de travail typique dans l'exploration de données qui comprend le prétraitement des données, l'exploration des données, l'analyse des données, l'amélioration des méthodes d'analyse et la présentation des résultats. Vous aurez l'occasion de combiner plusieurs algorithmes issus de différents cours pour mener à bien une tâche d'exploration relativement complexe et d'expérimenter différentes manières de résoudre un problème afin de comprendre la meilleure façon de le résoudre. Nous vous suggérerons des approches spécifiques, mais nous vous encourageons vivement à explorer vos propres idées puisque l'exploration libre est, par conception, un objectif du projet. Vous devez soumettre un bref rapport pour chacune des tâches afin qu'il soit évalué par vos pairs. Un rapport final consolidé est également requis, qui sera noté par les pairs.