FAQ : Pré-traitement des données pour l’entreprise

Q1 : Qu’est-ce que le pré-traitement des données et pourquoi est-il crucial pour mon entreprise ?

Le pré-traitement des données, parfois appelé préparation des données, est un ensemble de techniques et de processus qui visent à transformer des données brutes, souvent désordonnées et imparfaites, en un format utilisable et de qualité pour l’analyse, la modélisation ou d’autres applications d’intelligence artificielle (IA) et de machine learning (ML). En termes simples, imaginez que vous recevez une grande quantité de matériaux de construction hétérogènes : du bois brut, des pierres, du métal. Avant de pouvoir construire quoi que ce soit de solide, vous devez trier, nettoyer, mesurer et préparer ces matériaux. Le pré-traitement des données est le même processus, mais appliqué à l’information numérique.

Pourquoi est-ce crucial ? La qualité de vos résultats dépend directement de la qualité de vos données d’entrée. Les algorithmes d’IA/ML sont puissants, mais ils ne sont pas magiciens. Si vous les alimentez avec des données mal nettoyées, incohérentes ou incomplètes (ce qu’on appelle les données “sales”), vous obtiendrez des résultats biaisés, inexacts, voire inutiles. Par exemple, si votre modèle de prédiction des ventes se base sur des données client où les informations de contact sont incorrectes ou incomplètes, vos prédictions seront erronées, ce qui peut mener à des décisions commerciales désastreuses.

Un bon pré-traitement des données permet :

D’améliorer la précision des modèles : En supprimant le bruit et les erreurs, les algorithmes peuvent se concentrer sur les signaux pertinents, améliorant la justesse des prédictions.
D’accélérer le temps d’entraînement : Des données bien organisées et structurées réduisent le temps nécessaire pour entraîner les modèles.
De réduire les coûts : En détectant et corrigeant les anomalies en amont, on évite des analyses erronées qui peuvent coûter cher en ressources et en temps.
De garantir la cohérence : Le pré-traitement garantit que les données utilisées dans différents systèmes sont compatibles et cohérentes.
De faciliter l’interprétation des résultats : Des données nettoyées et transformées sont plus faciles à comprendre et à analyser, ce qui permet de tirer des conclusions pertinentes.
De prévenir le biais : Un pré-traitement attentif peut aider à identifier et à atténuer les biais potentiels dans les données.
D’optimiser les performances : En réduisant le volume de données non pertinent, on peut améliorer la performance et la rapidité des applications.

En résumé, le pré-traitement des données est un investissement essentiel pour maximiser la valeur des données de votre entreprise et obtenir des résultats fiables et pertinents dans vos projets d’IA/ML. C’est la fondation sur laquelle reposent vos initiatives basées sur les données.

Q2 : Quelles sont les étapes principales du processus de pré-traitement des données ?

Le pré-traitement des données est un processus itératif et peut varier en fonction de la nature des données et des objectifs visés. Cependant, il existe plusieurs étapes clés que l’on retrouve fréquemment :

1. Collecte des données : C’est l’étape initiale où l’on rassemble les données provenant de diverses sources (bases de données, fichiers, API, etc.). Il est essentiel de comprendre l’origine, le format et la structure des données.

2. Exploration des données (EDA – Exploratory Data Analysis) : Cette phase consiste à analyser les données brutes pour mieux les comprendre. On examine les statistiques descriptives (moyenne, médiane, écart type), on visualise les données pour repérer les tendances, les anomalies, les valeurs aberrantes, les valeurs manquantes et les corrélations.

3. Nettoyage des données : C’est une étape cruciale qui vise à corriger les erreurs et les incohérences. Cela comprend :
Gestion des valeurs manquantes : On peut choisir de supprimer les lignes ou colonnes avec des données manquantes, ou bien d’imputer ces valeurs en utilisant des méthodes statistiques (moyenne, médiane) ou des algorithmes plus sophistiqués.
Suppression des doublons : Les doublons peuvent biaiser les résultats et doivent être supprimés.
Correction des erreurs de saisie : Il s’agit de repérer et de corriger les fautes d’orthographe, les erreurs de formatage, les valeurs hors limites, etc.
Gestion des valeurs aberrantes : Les valeurs extrêmes qui ne suivent pas le modèle général doivent être examinées et éventuellement traitées (supprimées, corrigées ou transformées).
Normalisation des formats : Il faut s’assurer que les dates, les devises, les unités de mesure, etc., sont dans un format standardisé.

4. Transformation des données : Cette étape vise à rendre les données plus adaptées à l’analyse ou à la modélisation. On peut réaliser les opérations suivantes :
Encodage des variables catégorielles : Les variables qualitatives (couleurs, types de produits, etc.) doivent être transformées en variables numériques pour être utilisées par les algorithmes d’IA/ML (encodage one-hot, label encoding).
Normalisation ou standardisation : Les variables numériques sont mises à l’échelle pour que les algorithmes ne soient pas biaisés par des différences de magnitude (min-max scaling, z-score standardization).
Création de nouvelles variables : On peut générer de nouvelles variables à partir des variables existantes pour améliorer les performances des modèles (ingénierie des caractéristiques). Par exemple, on peut calculer l’âge à partir de la date de naissance.
Discrétisation (Binning) : Les variables numériques continues sont transformées en intervalles discrets (par exemple, des tranches d’âge).
Aggregation : Regroupement des données selon des critères spécifiques (par exemple, les ventes par mois).

5. Réduction de la dimensionalité : Lorsque le nombre de variables est très élevé, on peut utiliser des techniques comme l’analyse en composantes principales (ACP) ou la sélection de caractéristiques pour réduire la dimension des données, ce qui peut simplifier le modèle et accélérer le traitement.

6. Division des données : Une fois les données pré-traitées, on les divise généralement en ensembles d’entraînement, de validation et de test pour évaluer la performance des modèles.

7. Validation des données : Il est important de vérifier à nouveau que le pré-traitement a été effectué correctement et que les données sont prêtes à être utilisées.

Il est important de noter que ces étapes ne sont pas toujours appliquées dans cet ordre précis et que certaines peuvent être répétées ou itérées selon les besoins.

Q3 : Quelles sont les erreurs courantes à éviter lors du pré-traitement des données ?

Le pré-traitement des données est un processus délicat qui peut introduire des erreurs si l’on n’y prend pas garde. Voici quelques erreurs courantes à éviter :

Négliger l’exploration initiale des données (EDA) : Se précipiter dans le pré-traitement sans comprendre les données peut conduire à des décisions inappropriées. Il est essentiel de passer du temps à explorer les données pour identifier les problèmes potentiels et planifier le pré-traitement.
Imputer les valeurs manquantes sans prudence : Remplacer les valeurs manquantes par la moyenne ou la médiane sans tenir compte de la distribution des données peut introduire un biais. Il faut choisir la méthode d’imputation la plus appropriée en fonction du contexte.
Supprimer trop de données : Supprimer des lignes ou colonnes contenant des valeurs manquantes peut entraîner une perte d’information précieuse. Il est préférable de chercher des alternatives comme l’imputation.
Ne pas tenir compte des valeurs aberrantes : Ignorer les valeurs aberrantes peut fausser les analyses et les modèles. Il est important de les analyser et de les traiter de manière appropriée.
Ne pas normaliser ou standardiser les données : Si les variables ont des échelles différentes, cela peut biaiser certains algorithmes (par exemple, la régression linéaire, le k-means). Il est important de mettre les variables à la même échelle.
Introduire un data leak : Lorsque les données de test sont utilisées involontairement pendant la phase d’entraînement. Cela peut gonfler artificiellement les performances et rendre la généralisation difficile. Le data leak peut se produire dans la phase de division des données ou dans la phase de transformation. Il est crucial d’appliquer un pre-processing séparé aux données de training et de test.
Ne pas documenter le processus : Il est crucial de documenter toutes les étapes du pré-traitement, les décisions prises, et les transformations appliquées afin d’assurer la reproductibilité et la compréhension de la démarche.
Un pré-traitement statique : Il faut éviter d’appliquer les mêmes techniques de pré-traitement à un jeu de données en constante évolution. Les données dynamiques nécessitent une approche de pré-traitement elle aussi dynamique.
Se focaliser sur l’aspect technique et oublier le contexte métier : Il est fondamental que les étapes de pré-traitement soient validées non seulement techniquement mais aussi d’un point de vue métier. La connaissance des données par les personnes qui les utilisent au quotidien est essentielle pour la validation.

Éviter ces erreurs permettra de garantir la qualité et la fiabilité des données utilisées dans vos projets d’IA/ML.

Q4 : Comment choisir les bonnes techniques de pré-traitement pour mon entreprise ?

Le choix des techniques de pré-traitement dépend de plusieurs facteurs, notamment :

Le type de données : Les données numériques (continues, discrètes), catégorielles (nominales, ordinales), textuelles, images ou temporelles nécessitent des approches de pré-traitement différentes. Par exemple, le traitement du texte (tokenisation, stemming) est différent du traitement des données numériques (normalisation, standardisation).
La quantité de données : Lorsque vous disposez de grandes quantités de données, vous pouvez utiliser des techniques plus sophistiquées, mais cela prendra plus de temps de calcul. Avec de petites quantités de données, il est important de se concentrer sur les techniques qui préservent au mieux l’information.
Le problème à résoudre : Les objectifs de l’analyse ou de la modélisation guident le choix des techniques de pré-traitement. Par exemple, si vous construisez un modèle de classification, vous devrez peut-être utiliser des techniques d’encodage des variables catégorielles. Si vous construisez un modèle de régression, la normalisation des variables sera importante.
Les exigences de performance : Si la performance du modèle est cruciale, vous devrez peut-être passer plus de temps sur l’ingénierie des caractéristiques et la réduction de la dimension. Il peut être nécessaire de tester plusieurs méthodes de pré-traitement pour trouver la plus performante.
Les outils disponibles : Les bibliothèques et les outils de pré-traitement varient selon les langages et les plateformes (Python, R, etc.). Il est important de choisir des outils adaptés à vos besoins.
La connaissance du domaine : La connaissance du domaine d’application des données peut permettre de faire des choix éclairés sur les techniques de pré-traitement à utiliser.
Les contraintes temporelles : Les techniques de pré-traitement les plus sophistiquées sont gourmandes en temps de calcul. Vous devez tenir compte de ce paramètre au moment du choix.

Voici quelques exemples de techniques de pré-traitement à adapter :

Pour les valeurs manquantes :
Suppression (si le taux de valeurs manquantes est faible).
Imputation par la moyenne/médiane (si les données suivent une distribution normale).
Imputation par une valeur constante (si une valeur par défaut est applicable).
Imputation par des méthodes d’apprentissage (régression, k-plus proches voisins).
Pour les variables catégorielles :
One-hot encoding (si les catégories n’ont pas de relation d’ordre).
Label encoding (si les catégories ont une relation d’ordre).
Pour les données numériques :
Normalisation (mise à l’échelle entre 0 et 1).
Standardisation (mise à l’échelle avec une moyenne de 0 et un écart type de 1).
Transformation de puissance (log, racine carrée) pour les données asymétriques.

Une approche empirique, consistant à tester différentes combinaisons de techniques de pré-traitement, est souvent la plus efficace. Vous pouvez également vous appuyer sur des experts en données qui possèdent l’expérience et l’expertise nécessaire pour faire les meilleurs choix.

Q5 : Comment automatiser le pré-traitement des données dans mon entreprise ?

Automatiser le pré-traitement des données peut considérablement améliorer l’efficacité, la fiabilité et la rapidité de vos projets d’IA/ML. Voici quelques pistes pour mettre en place une automatisation efficace :

1. Choisir les bons outils : Plusieurs plateformes et bibliothèques proposent des fonctionnalités d’automatisation du pré-traitement :
Bibliothèques Python (Scikit-learn, Pandas) : Offrent de nombreuses fonctions de nettoyage, de transformation et de mise à l’échelle des données.
Plateformes de Machine Learning (AWS SageMaker, Google Cloud ML, Azure Machine Learning) : Fournissent des outils pour automatiser l’ensemble du processus, du chargement des données à l’entraînement des modèles.
Outils ETL (Extract, Transform, Load) : Spécialisés dans le traitement de grandes quantités de données et l’automatisation des flux de données.
Outils de Data Quality : Permettent de définir des règles de qualité des données et d’automatiser le contrôle et le nettoyage des données.

2. Créer des pipelines de pré-traitement : Organiser les différentes étapes du pré-traitement en un flux de travail structuré et reproductible. On utilise souvent des outils de pipeline qui permettent de définir une séquence d’opérations à appliquer aux données.

3. Standardiser les conventions : Définir des règles claires et des conventions pour la dénomination des colonnes, les formats de données et les méthodes d’imputation des valeurs manquantes.

4. Utiliser des scripts et des fonctions : Développer des scripts réutilisables pour les tâches de pré-traitement courantes (gestion des valeurs manquantes, normalisation, encodage, etc.). Ces scripts peuvent être appelés à plusieurs reprises dans différents projets.

5. Mettre en place une surveillance : Contrôler la qualité des données après le pré-traitement pour s’assurer qu’il n’y a pas d’erreurs ou de problèmes. Mettre en place des alertes si des anomalies sont détectées.

6. Utiliser des techniques de Machine Learning : Appliquer des techniques d’apprentissage automatique pour effectuer certaines étapes de pré-traitement comme la sélection des caractéristiques, l’imputation de valeurs manquantes ou la détection de valeurs aberrantes.

7. Automatiser la division des données : Automatiser la création des jeux de données d’entraînement, de validation et de test. Il est important de s’assurer que les données sont divisées de manière aléatoire et que la distribution des classes est respectée.

8. Gérer les versions : Versionner les scripts de pré-traitement, les données et les modèles pour pouvoir revenir en arrière en cas de besoin.

9. Mettre en place un processus d’amélioration continue : Réévaluer régulièrement le processus de pré-traitement et apporter des ajustements en fonction des retours d’expérience.

En automatisant le pré-traitement des données, vous pouvez libérer du temps pour vos équipes de science des données, réduire les erreurs humaines, garantir une meilleure qualité des données et accélérer le déploiement de vos projets d’IA/ML.

Q6 : Quel est l’impact du pré-traitement des données sur la confidentialité et la sécurité des données de mon entreprise ?

Le pré-traitement des données, bien qu’essentiel pour l’analyse et la modélisation, peut aussi avoir des implications sur la confidentialité et la sécurité des données de votre entreprise. Voici quelques aspects à considérer :

Anonymisation et pseudonymisation :
Certaines techniques de pré-traitement, comme le regroupement de données ou la suppression d’identifiants directs (noms, adresses, etc.), visent à anonymiser les données pour protéger la vie privée. Cependant, il est important de s’assurer que l’anonymisation est efficace et qu’il n’y a pas de risque de ré-identification.
La pseudonymisation remplace les identifiants directs par des identifiants indirects, ce qui permet de traiter les données sans les relier directement aux individus. Cependant, il faut veiller à ce que les identifiants indirects ne puissent pas être utilisés pour une ré-identification.
Protection des données sensibles :
Le pré-traitement doit prendre en compte la sensibilité des données traitées (données de santé, informations financières, etc.). Des mesures de sécurité spécifiques doivent être mises en place pour éviter les accès non autorisés, les fuites de données ou les utilisations malveillantes.
Il est important de définir une politique claire de gestion des données sensibles et de s’assurer que toutes les personnes impliquées dans le processus de pré-traitement la respectent.
Contraintes réglementaires :
Le pré-traitement doit respecter les réglementations en vigueur en matière de protection des données (RGPD en Europe, CCPA en Californie, etc.). Ces réglementations imposent des obligations en termes de consentement, de transparence et de sécurité.
Il est essentiel de se tenir informé des évolutions réglementaires et d’adapter les processus de pré-traitement en conséquence.
Stockage et transmission des données :
Le pré-traitement peut impliquer le stockage temporaire des données sur des serveurs. Il est important de sécuriser ces serveurs et de s’assurer que les données sont stockées de manière cryptée.
Lors de la transmission des données, il faut utiliser des protocoles sécurisés pour éviter les interceptions.
Audits de sécurité :
Il est recommandé de réaliser des audits réguliers du processus de pré-traitement pour identifier les vulnérabilités potentielles et les corriger.
Ces audits doivent être effectués par des experts en sécurité des données.
Formation du personnel :
Il est essentiel de former le personnel impliqué dans le pré-traitement sur les bonnes pratiques en matière de confidentialité et de sécurité des données.
Les employés doivent être sensibilisés aux risques et aux mesures à prendre pour protéger les données.
Utilisation de technologies de préservation de la confidentialité :
Pour certaines données hautement sensibles, on peut recourir à des technologies de préservation de la confidentialité, comme le chiffrement homomorphe ou le differential privacy, qui permettent de réaliser des calculs sur des données chiffrées ou en ajoutant du bruit pour préserver la confidentialité.

En résumé, la sécurité des données doit être une préoccupation majeure lors du pré-traitement. Il est essentiel de mettre en place des mesures de sécurité robustes et de se conformer aux réglementations en vigueur pour protéger les informations sensibles de votre entreprise.

Q7 : Comment le pré-traitement des données impacte-t-il le cycle de vie d’un projet d’intelligence artificielle ?

Le pré-traitement des données joue un rôle fondamental tout au long du cycle de vie d’un projet d’intelligence artificielle (IA) ou de machine learning (ML). Il n’est pas une étape isolée, mais plutôt une activité continue qui influence chaque phase du projet :

1. Planification et conception :

La compréhension des données disponibles, obtenue grâce à l’exploration préliminaire (EDA), permet de définir les objectifs du projet de manière réaliste.
Le choix des données et des techniques de pré-traitement est directement lié à la problématique à résoudre, au type de modèle à utiliser et à la performance attendue.
Les contraintes techniques, réglementaires et budgétaires influencent le choix des outils et des ressources nécessaires pour le pré-traitement.

2. Collecte et intégration des données :

Le pré-traitement détermine la manière dont les données sont collectées à partir de diverses sources.
Il permet de gérer les formats de données hétérogènes et de les intégrer dans une base de données cohérente.
Les problèmes de qualité des données, identifiés lors du pré-traitement, peuvent nécessiter des ajustements dans la collecte des données.

3. Préparation des données :

Le pré-traitement constitue l’étape centrale de cette phase. Il comprend le nettoyage, la transformation, la réduction de la dimension et la division des données.
La qualité des données préparées impacte directement la qualité des modèles d’IA/ML.
Un pré-traitement rigoureux permet de réduire le bruit, d’améliorer la qualité des données, et d’optimiser les algorithmes.

4. Construction et entraînement des modèles :

Les données pré-traitées servent de base pour entraîner les modèles.
Un pré-traitement adéquat permet d’accélérer l’entraînement, de réduire les erreurs de généralisation, et d’améliorer la précision des modèles.
Certaines techniques de pré-traitement, comme la sélection de caractéristiques, peuvent simplifier le modèle et réduire les risques de surapprentissage.

5. Évaluation et validation des modèles :

Les données pré-traitées permettent d’évaluer les performances des modèles.
Si les résultats ne sont pas satisfaisants, il peut être nécessaire de revoir les étapes de pré-traitement ou de sélectionner d’autres algorithmes.
La qualité du jeu de données de test, préparée par le pré-traitement, a un impact majeur sur l’évaluation du modèle.

6. Déploiement et maintenance :

Les pipelines de pré-traitement doivent être intégrés dans l’environnement de déploiement pour assurer la cohérence des résultats.
Les données nouvelles qui seront utilisées par le modèle en production devront également être pré-traitées de la même manière que les données d’entraînement.
Une surveillance régulière des performances du modèle permet de détecter les dérives et de mettre à jour le pré-traitement si nécessaire.

7. Documentation et reproductibilité :
Le pré-traitement doit être documenté de manière détaillée afin d’assurer la transparence, la compréhension et la reproductibilité du processus.
La version des scripts, des données et des modèles doit être conservée pour faciliter la réutilisation et la modification du projet.

En résumé, le pré-traitement des données est un processus itératif et continu qui doit être pris en compte à chaque étape du cycle de vie d’un projet d’IA/ML. Il ne s’agit pas d’une tâche ponctuelle, mais d’une approche rigoureuse qui permet de garantir la qualité, la fiabilité et le succès des projets d’IA/ML.

Q8 : Quels sont les outils et technologies les plus couramment utilisés pour le pré-traitement des données ?

De nombreux outils et technologies sont disponibles pour faciliter le pré-traitement des données. Le choix des outils dépend souvent de plusieurs facteurs, tels que le type de données, le volume de données, les compétences des équipes et le budget. Voici quelques outils et technologies couramment utilisés :

Langages de programmation :

Python : C’est le langage de programmation le plus populaire pour la science des données et le machine learning. Il possède une large gamme de bibliothèques dédiées au pré-traitement des données, notamment :
Pandas : Utilisé pour la manipulation, le nettoyage et l’analyse de données tabulaires. Offre des structures de données flexibles (DataFrames) et de nombreuses fonctions pour la gestion des valeurs manquantes, la suppression des doublons, le filtrage et la transformation des données.
NumPy : Bibliothèques de calcul numérique pour les tableaux multidimensionnels et les opérations mathématiques.
Scikit-learn : Offre une grande variété de fonctions de pré-traitement, notamment la normalisation, la standardisation, l’encodage des variables catégorielles, l’imputation des valeurs manquantes et la sélection des caractéristiques.
NLTK (Natural Language Toolkit) et SpaCy : Bibliothèques pour le traitement du langage naturel (tokenisation, stemming, lemmatisation, etc.).
OpenCV (Open Source Computer Vision Library) : Bibliothèques pour le traitement d’images et de vidéos.
TensorFlow et PyTorch: Cadres de deep learning qui offrent également des fonctions de pré-traitement pour les données complexes (images, texte, etc).

R : Un autre langage de programmation populaire pour les statistiques et la science des données. Il possède également de nombreuses bibliothèques pour le pré-traitement des données, notamment :
dplyr et tidyr : Bibliothèques pour la manipulation et la transformation des données.
caret (Classification and Regression Training) : Bibliothèques qui proposent des outils pour le pré-traitement des données et la modélisation.
tm et quanteda : Bibliothèques pour le traitement du texte.

Plateformes et outils :

Plateformes de Machine Learning Cloud (AWS SageMaker, Google Cloud AI Platform, Azure Machine Learning) :
Offrent des outils intégrés pour le pré-traitement des données, l’entraînement et le déploiement des modèles.
Permettent de collaborer en équipe, de gérer les ressources de calcul et de suivre les performances des modèles.
Outils ETL (Extract, Transform, Load) :
Spécialisés dans l’extraction de données de diverses sources, leur transformation et leur chargement dans une base de données cible.
Permettent d’automatiser le flux de données et de gérer de gros volumes de données.
Exemples : Apache NiFi, Talend, Informatica PowerCenter.
Outils de Data Quality :
Permettent de définir des règles de qualité des données, d’automatiser le contrôle et le nettoyage des données.
Exemples : Ataccama, Talend Data Quality.
Outils de manipulation de données en base de données :
Les langages SQL (Structured Query Language) sont souvent utilisés pour effectuer des opérations de nettoyage et de transformation directement dans les bases de données.
Cela permet de profiter des capacités de traitement des données des bases de données.
Notebooks (Jupyter, Google Colab) :
Environnements interactifs pour l’exploration, la visualisation et le pré-traitement des données.
Permettent de combiner le code, les graphiques et le texte.

Autres outils :

Apache Spark :
Moteur de traitement de données distribué et rapide.
Permet de traiter de gros volumes de données en parallèle.
Offre des fonctionnalités de pré-traitement de données à grande échelle.
Dask :
Bibliothèque Python pour le calcul parallèle qui fonctionne avec les structures de données de Pandas et NumPy.

Le choix des outils dépendra des besoins spécifiques de chaque projet et des compétences des équipes. Il est souvent utile de combiner plusieurs outils pour tirer le meilleur parti de chacun. Il est également important de se tenir au courant des dernières technologies et outils disponibles car le domaine du pré-traitement des données évolue rapidement.

Q9 : Quels sont les indicateurs clés de performance (KPI) pour mesurer l’efficacité du pré-traitement des données ?

Mesurer l’efficacité du pré-traitement des données est crucial pour s’assurer que les données sont de qualité et qu’elles permettent d’obtenir les résultats escomptés. Voici quelques indicateurs clés de performance (KPI) que l’on peut utiliser :

KPI liés à la qualité des données :

Taux de valeurs manquantes : Mesure le pourcentage de valeurs manquantes dans chaque colonne. Un faible taux de valeurs manquantes indique une bonne qualité des données.
Taux de doublons : Mesure le pourcentage d’enregistrements en double. Un faible taux de doublons est un indicateur de qualité des données.
Taux de valeurs aberrantes : Mesure le pourcentage de valeurs qui s’éloignent significativement des autres valeurs. Il est important d’analyser ces valeurs aberrantes et de les traiter correctement.
Taux d’erreurs de saisie : Mesure le pourcentage d’erreurs dans les données (fautes d’orthographe, format incorrect, etc.).
Cohérence des données : Vérifie si les données sont cohérentes entre différentes sources et systèmes. Les données doivent être logiquement cohérentes et ne pas se contredire.
Complétude des données : Mesure le pourcentage de champs obligatoires remplis. Une faible complétude des données peut entraîner des erreurs d’analyse.
Validité des données : Vérifie si les données respectent les règles métier ou les contraintes prédéfinies (par exemple, un âge doit être une valeur positive).

KPI liés à l’impact sur les modèles :

Précision du modèle : Mesure la performance du modèle après l’application du pré-traitement. Une meilleure précision du modèle indique l’efficacité du pré-traitement.
AUC (Area Under the Curve) : Mesure la performance du modèle de classification. Une AUC plus élevée indique une meilleure performance du modèle.
F1-score : Mesure l’équilibre entre la précision et le rappel. Utile pour les problèmes de classification avec des classes déséquilibrées.
RMSE (Root Mean Squared Error) : Mesure l’erreur quadratique moyenne entre les valeurs prédites et les valeurs réelles. Utile pour les problèmes de régression.
Temps d’entraînement du modèle : Un bon pré-traitement des données doit permettre de réduire le temps d’entraînement des modèles.
Complexité du modèle : Un bon pré-traitement des données peut permettre de simplifier le modèle et de le rendre plus interprétable.