Please enable JavaScript.

Coggle requires JavaScript to display documents.

2.EDA Exploratory Data Analysis Explorar Limpiar Correlacionar, Las…

- - - - 1st option
        function
      - 2dn optino
        Remove Duplicate Features ysing Transpose
    - - Use Scilit-learn VarianceThreshold
        sklearn.feature_selection import VarianceThreshold
  - - - Caminos para la conversión
        
        From categorical to numerical
        
        Otra forma
        
        One Hot encoding
        Get Dummy, más recommendado
        
        Sparsity
        
        Muchas varaibles con densidad baja. Mucha sparce.
        Ejemplo. Las compentencias muchas ocmpetnecias y pocos se repiten.
        EJ. Competnecias más demandadas
        Solucion.- Seleccionar o agrupar pro área.
        "Tengamos cuidado en no generar matrices Sparce"
        
        -->
        Colab Example
        
        Relación con una variable externa
        Podemos convertir una categorica concinedo su comportameinto con otra varaible numérica.
        Sobre la base del conocimeitno previso de relacion entre variables
        
        Label encoding
        
        Therefore, regardless of the number of categories in a column, the LabelEncoder automatically adapts and assigns numerical labels accordingly. You don't need to specify the number of categories beforehand
        
        From categorical to text
        
        Visualmente, seguirás viendo 0 y 1 al imprimir el DataFrame, pero pandas internamente interpreta que estos valores representan categorías.
        Pueden ser tanto texto como números.
      - Select non numeric (Char) columns only (From the function above)
      - Features Engineer
        
        Get numeric values from a categorical feature. (Transform Text into numercical)
        :white_flag:
        Descubriri que los datos categoricos se puede transformar para conseguir oro
        
        Extensiones al modelo, interacciones
        
        Manejar con cada column ay hacer las transformaciones que consideremos importnates
    - - to select columns based on their data type.
    - - Continue Clenaing
        
        get log for skewed distributions
        (logarithmic transformations are often applied to data that is highly skewed (meaning it has a long tail on one side of the distribution). This transformation can help to make the data more normally distributed, which can be beneficial for certain statistical models.)
        
        Change type from int64 to float64
        (a common numerical data type used for computations in data science.)
      - Cunatitnavtivas
    - - Standardize
        
        Transformar una columna para que
        
        Media (promedio) igual a cero (0):
        
        Desviación estándar igual a uno (1):
        
        Estandarizar
        
        Todas las varaibles convertir a una sola escala
      - Normalize
        (Recommended)
        
        Normalizar entre 0 a 1
        Estandarizar en un rango de 0 a 1. La distribuci[on va ser la mism
        
        Normalizar
  - - - Delete greater than 100
      - Drop columns with more than 50% of missing values
    - - Specific value, in this case TA
      - With the mean
    - - Los rosas son valores faltantes
        
        El hecho que sean faltantes también es información Pueden tener información, por ejemplo tiene una forma, hay un patron que sucede en esa pregunta?
        Un valor faltante no necesariamnete es faltante, sino no aplicacble, no provisto. Pueden haber diferentes posibilidades de interpretar
  - - - Rows
        
        subset.- which columns to consider. (None = all, ['a', 'b'] = column a and b)
        
        inplace.- controls whether the changes are made directly to the DataFrame df or in a copy
      - Columns
        Build a function
        
        Funtion
        
        The getDuplicateColumns function systematically compares each column in the DataFrame with the remaining columns to detect duplicates. When a duplicate is found, the name of the duplicated column is recorded. The function ultimately returns a list of these duplicate column names.
        
        Identify
        
        Delete
  - - - Para aplicacion del modelo tenemos que quitar las llaves primarias.
      - No variables monotomicas. Queremos generalizar no especificar.
        Las que se repiten mucho
  - - - Se busca que la curva sea masomenos normal, que tenga sesgos otuliers puede targiverzar..
        
        Si es normal. Se puede remplazar con el valor promedio
        
        Si tiene sesgo. Se puede reemplazar con la mediana
        
        Se puede dividir, lso outliers se separa de la población general
      - Elimin
        
        Remplaza con la media
        
        Remplaza con la mediana
        
        Tratar en un grupo por separado homogenero
        
        Remove Outliers
        using a common statistical method called the Interquartile Range (IQR).
        
        Function
        
        The function identifies outliers in a specific column of your data using the IQR method and then replaces those outliers with the upper or lower outlier thresholds, effectively "capping" extreme values.
        
        Esta función liququida la colita
    - - Reemplazar con la mediana si se quiere mantener con seesgo
      - Boxplot
- - - - step 1
        general braod view between all numerical features
        
        seabrond
        matplotlib
        
        Just table
        
        Lo que se usca, La correlación entre las varaibles que no son target sea baja
        
        La correlación entre las varaibles y la target que tienda a ser un poco más alta
      - step 2
        Filtrar variables más relacionadas
        
        dfiocus on specifi focuses on the correlation of features with 'SalePrice', Solo las 10 varbiale más relacionadas con SalePrice
      - step 3
        
        Remove ppares con multicolinealidad
        highly correlated features can sometimes introduce redundancy and negatively impact the performance of models
        
        Searches for pairs of columns (features) that have a correlation coefficient greater than 0.8. If it finds such a pair, it adds the name of the column to a set of correlated features.
        
        Delete those correlations
  - - - No predictivo :red_cross:
        porque son casi iguales
        
        predictivo :check:
        
        Si son iguales ose si estan al mimso nivel, las varaibles no es muy predictiva
- - - - Like cbind in
      - Like rbind in r
  - - - Second option imbalance data - OVERSAMPLING
      - First option imbalance data - OVERSAMPLING
- - - - MOdelo
        Hiperplano
        State Space
        
        Visualizar de que los modelo son hiperplanos, en diferentes planos
        Simplemente es edonde ubicamos los puntos, el plano cartesiano
      - Target
        
        Es comun tener uno solo, pero ahora pueden darse diferentes targets
      - PSA
        
        Proceso para reducri dataset extremadamente anchas. Muchas varaibles
        Con 14 y 20 ya esta bien. Pero más varaibles no
- - - - Two variables
      - One variable