Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data-Mining, Anwendungsgebiete, Entwicklung / Gründe, Prozessmodelle,…

- - - - A-Priori-Algorithmus
        
        Ablauf:
        
        Finden von FIS
        
        Ableiten von Assoziationsregeln
        
        Assoziationsregel
        
        Confidence
        
        2 more items...
        
        A --> B
        
        1 more item...
        
        Support
        
        1 more item...
        
        Lift
        
        1 more item...
        
        frequent itemsets
        
        s(i) >= minsup
    - - Warenkorbanalyse
      - Risikoabschätzung (Verischerungsbranche)
  - - - Kreditwürdigkeit
    - - Instanzbasierte
        
        k-NN
      - Decision Trees
        
        univariat
        
        Multivariat
        
        ID-3
        
        nur nominal / ordinal
        
        Entropie / Gain / Gini
        
        C4.5
        
        Overfitting
        
        Pruning
        
        +: Generalisierbarkeit
        
        TDIDT
      - Naive-Bayes
        
        Vorhersage der wahrscheinlichsten Klasse
      - vorwärtsgerichtete neuronale Netze
      - SVM
        
        Trennung durch Hyperebene
      - Modellbasierte
    - - 1.Lernphase
        
        2.Klassifikationsphase
    - - Konfusionsmatrix
        
        Accuracy
        
        Sensitivity
        
        Specificity
        
        Type I error
        
        False positives
        
        Type II error
        
        False negatives
        
        Präzision
      - ROC - Kurve
        
        AUC
        
        Liberal / konservativ
        
        X: FP
        
        Y: TP
  - - - Bestimmung der Ähnlichkeiten
        
        Proximitätsmaße
        
        Ähnlichkeitsmaße
        
        binär
        
        Koeffizienten
        
        Riccard & Rau Koeffizient
        
        Jaccard Koeffizient
        
        M - Koeffizient
        
        metrisch
        
        Pearson r
        
        Distanzmaße
        
        metrisch
        
        Euklidische Distanz
        
        quadrierte
        
        simple
        
        City-Block-Metric
        
        kategorisch
        
        Chi-square
        
        2.Auswahl des Fusionierungsalgorithmus
        
        Verfahren
        
        hierarchische Verfahren
        
        agglomerativ
        
        divisiv
        
        Ward Verfahren
        
        Partitionierendes Verfahren
        
        k-NN
        
        3.Bestimmung der Clutseranzahl
        
        Zielkonflikt
        
        Handhabbarkeit
        
        Homogenitätsanforderung
        
        Verfahren
        
        Elbow Kriterium
        
        Stopping Rule (Calinski & Harabasz)
        
        Test von Mojena
    - - Kundensegmentierung
      - Optical Character Recognition (OCR)
  - - - Verfahren
        
        lineare Regression
        
        Regressionsbäume
        
        vorwärtsgerichtetes Neuronales Netz
        
        k-NN
    - - Web Content Mining
      - Web Structure Mining
      - Web Usage Mining
- - - - Gewährleistung der Gültigkeit
    - - Umbenennen der Variablen
      - Typumwandlungen
      - Konvertieren bei gleichbleibendem Typ
      - Formatieren
      - Standardisieren
      - Normieren, normalisieren
      - Sortieren
      - Filtern
      - aggregieren
      - Klassieren
      - Anreichern
      - Modellieren
      - Pivotisieren
      - Arbeit mit RegEx
  - - - Prozess zur Bestimmung der Datenqualität
        
        "Im Vordergrund steht die Bestimmung ungenauer, unvollständiger oder uneindeutiger Daten"
    - - Verteilungen
      - Muster, Datentypen, Sachebiete (Domains)
      - Kardinalität
    - - Structural Metadata
      - Domain Metadata
        
        Syntactic metadata
        
        Semantic Metadata
      - Provenance / lineage Metadata
      - Quality Metadata
        
        Accuracy
        
        Completeness
        
        Consistency
        
        Timeliness
        
        Certainty
    - - Standardisierung
      - Auszählung und Ausreißer Bestimmung
        
        z.b. grafisch mit Box and Whisker Plot
      - Einhaltung von Regeln
      - Aufdecken von Beziehungen
    - - zulässige Werte
      - Wertebereiche
      - Adressen
      - Standardisierung
        
        z.b. internationale DIN - Normen
      - konsolidiertes Format
      - referentielle Integrität
      - statistische Angaben
      - Dublettenprüfung
      - Eindeutigkeit
      - fehlende Werte
  - - - fehlende Daten
        
        Umgang
        
        Globale Konstante
        
        Wahrscheinlichster Wert
        
        Imputation
        
        Relation zwischen Attributen
        
        Datensatz als fehlerhaft kennzeichnen
        
        manuell eintragen
        
        Attribut ignorieren
        
        Ausschließen
        
        Ursachen
        
        nicht erhoben
        
        Attribut war nicht auf jeden Fall anwendbar
      - Rauschen & Ausreißer
        
        verrauschte Daten
        
        für Attribute
        
        ungenaue Messwerte
        
        modifizierte Originalwerte
        
        für Objekte
        
        externe Objekte
        
        häufig zufällige Störung
        
        muss im Einzelfall nachgegangen werden
        
        Ausreißer
        
        Umgang
        
        Regression
        
        Verbundbildung / Clustering
        
        (selbe wie missing values)
        
        Klasseneinteilung
        
        entweder noise oder Ziel
        
        Outlier detection
        
        Statistics-based
        
        Distance-based
        
        Model-based
      - falsche Daten
      - gefälschte Daten
      - Duplikate
        
        relevant für Datenintegration
        
        Suche
        
        exakt
        
        "Fuzzy" (Ähnlichkeit)
    - - Definitionen & Standards nicht explizit vereinbart
      - Definitionen & Standards einseitig und ohne Mitteilung verändert
      - Fehlerhafte Geräte / Fehlfunktionen bei der Datenerfassung
      - Menschliche Fehler
      - Fehler bei der Datenübertragung
      - Rahm Do
        
        Single Source Problems
        
        Instance Level
        
        Attribute
        
        Missing Values
        
        Misspellings
        
        Cryptic Values, Abbreviations
        
        Misfielded Values
        
        Record
        
        Violated attribute dependencies
        
        Record Type
        
        Word transpositions
        
        Duplicated records
        
        Contradicting Records
        
        Source
        
        Wrong references
        
        Schema Level
        
        Attribute
        
        Illegal Values
        
        Record
        
        Violated Attribute Dependencies
        
        Record Type
        
        Uniqueness Violation
        
        Source
        
        Referential Integrity Violation
        
        Multi-Source Problems
        
        "aggravated single source problems"
        
        Schema Level
        
        Naming Conflicts
        
        Structural conflicts
        
        Instance Level
        
        all problems from single source case
        
        different value representations across sources (Codierung)
        
        Object Identity Problems
        
        Duplicates
    - - Data Quality Metrics
        
        Completeness
        
        Consistency
        
        timeliness
        
        Validity
        
        Uniqueness
        
        Accuracy
      - Anforderungen
        
        externe
        
        rechtliche
        
        data compliance
        
        Referenzinformationen
        
        interne Standards
        
        technische Anforderungen
      - Analyse der Fehlerursachen
      - Qualitätsverbesserung
        
        Datenbereinigung
        
        Systemoptimierung
        
        Geschäftsprozessoptimierung
        
        Schulung der Mitarbeiter
  - - - Datenobjekte
        
        Attribut / Merkmal / Variable
        
        Datentypen
        
        Struktur
        
        Unstrukturiert
        
        Text-Mining
        
        Semi-strukturiert
        
        Web-Mining
        
        Strukturiert
        
        Data-Mining
        
        qualitative
        
        Ordinal
        
        Operationen
        
        2 more items...
        
        Nominal
        
        Operationen
        
        1 more item...
        
        quantitative
        
        metrische
        
        Diskrete
        
        1 more item...
        
        Intervallskala
        
        1 more item...
        
        Verhältnisskala
        
        1 more item...
        
        Absolutskala
        
        1 more item...
        
        Kontinuirliche
        
        1 more item...
        
        Interval
        
        Operationen
        
        1 more item...
        
        Ratio
        
        Operationen
        
        1 more item...
        
        Asymmetrische
        
        Nur != 0 von Interesse
        
        Sparsity
        
        Attribut + Wert
        
        auch: record
      - Charakteristika
        
        Dimensionality
        
        Sparsity
        
        Resolution
        
        Size
        
        Kardinalität
      - Typen
        
        daten Matrix
        
        records
        
        Transaktionsdaten
        
        Graph Daten
        
        geordnete Daten
        
        Dokumentdaten
  - - - Datensäuberung
        
        Datenreduktion
        
        Dimensionsreduktion
        
        large p, small n problem
        
        computational overhead
        
        Datentransformation
        
        Normalisierung / Skalierung
        
        Diskretisierung
        
        Aggregation
        
        Pivotierung
        
        "binning"
        
        binärcodierung (dichotomisierung)
        
        Informationsverlust
- - - - "Intelligentes Verahlten ist in vielen Bereichen ohne gute Datenanalysen nicht denkbar. Eine Einordnung in den Bereich AI ist durchaus sinnvoll. Insbesondere gibt es viele Überlappungen mit ML, einem Teilgebiet von AI." (C&L)
    - - ""es werden Daten aus unterschiedlichen Bereichen analysiert" (C&L)
    - - "es wird Wissen aus Daten generiert" (C&L)
- - - - Transformation
        
        Data-Mining
        
        Interpretation & Evaluation
        
        Gültigkeit
        
        Nützlichkeit
        
        Neuartigkeit
        
        Verständlichkeit
- - - - Data Preparation
        
        Modelling
        
        Evaluation
        
        Deployment