Please enable JavaScript.

Coggle requires JavaScript to display documents.

Apprentissage dans les systèmes naturelles et artificiels - Torlay, …

- - - - 2 -Pré Tmt (prépa!!!)
        
        dans tout les cas, utilisé en terme
        
        d'interprétation (poids, coef comparables)
        
        de visualisation (même échelle)
        
        2-2) SOUVENT :check:
        
        Discrétisation: on peut transformer des var num en var discrète ==> si pas sur de la précision des valeurs <0,5 --> 0 et >0,5 --> 1
        
        Binarisation : peut suffire (0 ou 1) --> création de 2 catégories
        
        permet de passer d'une régression à une classification
        
        SCALLING DES DONNEES = Mise à l'échelle
        
        utilisé pour SVM et régression linéaire
        
        soit [0;1] ou [-1;1]
        
        corriger les diff d'amplitude de mesure / d'attributs: l'ago ne percoit pas la diif d'échelle
        
        Standardisation
        
        et variance (
        
        moyenne nulle (u)
        
        écart type à 1
        
        :warning:uniquement si normalisation
        
        EQUILIBRAGE/ a remplir
        
        ENCODAGE : d'attributs catégo sur la base de données ou sur la base de dictionnaires (rouge, bleu, vert = 1, 2 ,3)
        
        2-1)TOUT LE TEMPS :check:
        
        Nettoyage min des données
        
        Doublons à éliminer
        
        Outliers : peuvent affecter les paramètres et augmenter les biais (partie la plus diff à gérer, surtout de l'exploration
        
        SI DONNEES MANQUANTES
        
        algo ne marche pas et on ne veut rien changer
        
        suppression: choix de suppression dep de l'analyse
        
        3 more items...
        
        ne rien faire
        
        choisir un algo cap de gérer les data manquantes (arbre de décision, si bcp de data manquantes (au dela de 20% on supprime
        
        imputation: données manquantes dans jeu de données = gros pb
        
        Univariée: remplacer par la moyenne ou médiane
        
        1 more item...
        
        Multivariée
        
        3 more items...
        
        Par les plus proches voisins: calcul des coordonnées manquantes à partir des points les plus proches
        
        Multiplier les représentations graphiques pour se faire une idée = VISUALISATION
        
        1-3) DE TEMPS EN TEMPS :check:
        
        Création de features
        
        Sélectionner de features
        
        Obtention des données pré-traitrées
        
        3- Entrainement => Optimisation
        
        Enregistrer le modèle et les training dataset prétraité
        
        4- Analyse des résultats
        
        Visualisation
        
        Vérifier que le modèle ne sous . sur apprends pas
        
        Var / biais = gros défauts ML
        
        2 more items...
        
        Trouver les paramètres qui min la fonction Loss
        
        vérifier les optimisation existances
        
        sinon
        
        Gric Search CV
        
        Haking Grid search CV
      - X test et Y tests sont mis de côté
      - si on mets du tests dataset, on biaise notre algo, on fait en sorte d'avoir de meilleures données
      - Vérifier qu'il y a une Augt° de la perf
        
        comparer à une baseline
        
        Métrique d'évaluation
        
        accuracy
  - - - petit
        
        validation croisée à 5 ou 10 plus (répétée de pref une dizaine de fois)
        
        VC interne
        
        évaluer les meilleures combi d'hyper para, puis évaluat° finale
        
        VC imbriquée
        
        déterminer les meilleures hyper para et les perf du modèle
        
        boucle int sur chaque ligne de la boucle ext
        
        si peu de data alors réaliser une validation croisée classique
        
        simple / classique
        
        perf globale = moy des perf
        
        pas de remise! :warning:
        
        Bootstrap répété 100 à 10000 fois
        
        remise!!! :warning:
        
        taille du jeu d'entrainement = à celle du jeu de données omplet
        
        contraintes
        
        boostraap avec data manquantes alors jeu de test = échantillons non tirés pour constiuer le jeu d'entrainement --> out of bag (OOB)
        
        sous-échantillonage avec remise à répéterplusieurs fois (600 fois) --> basé sur le hasard
        
        procédure
        
        choisir un certain nbre d'échantillon de bootstrap à effectuer
        
        pour chaque échantillon
        
        ajuster un modèle sur l'échantillon des données
        
        estimer la compétence du modèle sur le OOB
        
        calculer la moy de perf du modèle
      - grand > 10000
        
        partitionnement après brassage
  - - - Modèles
        
        Non linéaires
        
        Arbres de décision (classification et régression): très informatives sur les features
        
        avantages
        
        simple interprétation et compréhension
        
        facilement visualisable
        
        data num ou catégoriques
        
        insensibles aux data manquantes
        
        inconvénients
        
        énorme sur-ajustement
        
        instables si trop de para, chgmt de struct
        
        sensibles à la balance des classes
        
        Random Forest Classifier (sklearn) : prendre des petits arbres, (inf 100), les grands font du SURapp
        
        on peut regarder l'importance / le classement des features (features importances sur sklearn)
        
        K plus proche voisins (KNN)
        
        utilisé en
        
        supervisé / non supervisé (regroupement/ clustering)
        
        Classification / régression
        
        suivant les variantes, trouver autour d'un échantillon
        
        tous les échantillons voisins à une dist données (det para C)
        
        les K plus proches voisins (k à fixer)
        
        SVM (régression, classification et détection de valeur marginale)
        
        robuste: esp à gde dims° et même avec peu d'échantillons
        
        adaptable: 3 variants très diff qui permettent grande adaptabilité aux jeux de données
        
        Méthodes ensemblistes: combiner diff modèles que l'on va entrainer, combiner les prédictions de plusieurs estimateurs de base (= algo de prédiction)
        
        Tâches de régression
        
        entmt d'un Ens d'apprenants faible (perf indiv fbles)
        
        3 familles:
        
        1.Bagging
        
        On agrège pleins de mod (apprenant faibles) qui apprennent en //
        
        apprenant faible
        
        1 more item...
        
        Méthodes d'échantillonnage aléatoire
        
        1 more item...
        
        par ex avec KNN entrainés en //
        
        BaggingClassifier (F° sklearn),
        
        :check: Red la var (donc l'overfitting) du mod des apprenants fble aggrégés
        
        :check:applicable à n'importe quel type d’apprenants faible
        
        lent
        
        2.Stacking
        
        combiner les mod indivs et passer leur prédict en entrée à un mod de sortie qui prod la d° finale
        
        1 more item...
        
        sklearn: StackingClassifier)
        
        ex:
        
        1 more item...
        
        3.Boosting
        
        entrainer ensemble une seq d'apprenants faibles ==> les mod d'après réduisent les erreurs des apprenants précédents
        
        1 more item...
        
        Familles
        
        1 more item...
        
        :check:Red biais du metaèmod des apprenants faibles aggrégés + perf meilleures que celles des mod de bagging
        
        :green_cross: Tps de calculs importants + méthodes sensibles (Gradien boosting)
        
        Construire des métamod à partir de mod
        
        Linéaires
        
        Régression linéaire
        
        Ridge / norme L2
        
        Lasso/ Norme L1
        
        Elastic Net / Norme L1 et L2
        
        *Regression logistique: modèle linéaire de classification, s'appuie sur une fonction sigmoïde, on cherche à la caler entre 2 pateau*
        
        SVM: support vector machine: def la frontière entre 2 paquets, SVM à noyau linéaire comporte un hyperpara C. méthode qui cherche à caler une droite le plus loin possible de 2 populations --> C def la largeur de la frontière
        
        para C petit = bande large
        
        para C important = bande étroite
      - on connait les labels = les coordonnées des points
        
        apprentissage d'une f° de prédiction
        
        dispo pour classification et regression
      - DL
        
        intro de pleins d'hyperpara
        
        pas de la DG à fixer
        
        Computing Gradient: Backpropagation
        
        calcul de la dérivée par petits bouts et on fait la somme après
        
        Training Neural Network
        
        Batch
        
        Petits paquets de données
        
        Batch normalisation
        
        1 more item...
        
        Epoch
        
        nombre / série de rétropropagation
        
        1 more item...
        
        Petits pas
        
        Risque de rester bloquer dans un min local
        
        Grands pas
        
        risque de louper le min global
        
        nbre d'itérations (rétropropagation)
        
        dropout
        
        forme de régularisation
        
        on éteinds des neurones dans le réseau
        
        :warning:que pd l'apprentissage!!!
        
        but: empêcher l'overfitting
        
        en l'obligeant à s'adapter et - généraliser
        
        LOSS f°
        
        pleins de choix, à fixer en f° du model
        
        somme de toutes les LF°
        
        importance f° d'activation
        
        calcul de la dérivée de la LOSS f°un grd nbre de fois pour modifier les poids et optimiser le RN
    - - But: algo doit identifier des groupes, donner le nbre de groupe qu'on veut (par hyper para)
        
        K-moyennes: recherche d'association
        
        nbre de cluster fixé a priori,
        
        algo divise N échantillons en K cluster C disjoints, chaque cluster est décrit par une moy de ses échantillons
        
        But: Minimiser la dist entre les échantillons au sein de chaque cluster --> notion de dist à choisir!
        
        Manifold Learning: visualiser les jeux de données en hte dimension --> réduction de dimension
        
        outils de réduction de données: règles calculée transposée sur le jeu de test
        
        Clustering : partitionnement de données, regroupement, apprentissage automatique
        
        estimation de la distribution de proba
      - on a des points mais on ne connait pas les coordonnées (pas les labels)
    - - on connait la catégorisation de certains points
      - trouver les frontières entre chaque groupe
    - - prise de décision
- - - - fournir des données d'entrainement à l'algo
        
        training set = 70-80%
        
        détermination des hyper para
        
        bac à sable, tout ce qu'on veut dessus
        
        algo d'apprentissage apprend un modèle cap de généraliser à de nouvelles données = élaboration du modèle sur le training set
        
        mesurer la qualité de l'apprentissage sur un modèle test = tester le modèle sur le jeu de test
        
        validation set: jeu complémentaire
        
        travailler sur la perf
        
        pour valider choix des hyper para
  - - - Volumétrie: grde quant de data mais diff de stockage, partage, analyse, visualisation
      - Vélocité: flux continus de données: capteurs, appareils mobiles, réseaux soc...diff pour analyse et tmt des données à la volée, sans les avoir en intégralité
      - Variété: diff formats mais diff d'intégration, par le sens, l'échelle, la qualité...
- - - - Sensitivity: True positive rate