Please enable JavaScript.

Coggle requires JavaScript to display documents.

VALIDEZ - Coggle Diagram

- - - - :silhouettes: :check: Si expertos en la materia coinciden en que una prueba parece y actúa como un instrumento diseñado para medir lo que se supone debe medir, entonces se dice que posee validez de contenido.
        El juicio de los expertos indica que reactivos se debe incluir y se debe emplear desde la elaboración de la prueba.
    - - Evidencia basada en el contenido de la prueba (Standards, 2013)
        Análisis de la relación entre el contenido (temas, redacción y formatos de los items,)de una
        prueba y el constructo que se pretende medir.
        
        Se trabaja a partir de la
        especificación de contenido
      - Aplicaciones primarias
        
        Pruebas educativas de aprovechamiento:
        
        Buscan determinar el grado de conocimiento sobre algún material.
        
        El proceso de establecer la validez de contenido empieza con una definición cuidadosa
        del contenido que se desea cubrir (cuadro de especificaciones de dos vías)
        
        Empleo de taxonomía de Bloom para la elaboración de los objetivos presentados en la tabla de especificaciones
        
        Luego, se contrasta el contenido con el cuadro de especificaciones
        
        Validez instruccional (Validez curricular): Evidencia de que el
        contenido se cubrió de manera adecuada en un programa de enseñanza
        
        Se aplica primordialmente a las pruebas de aprovechamiento educativo
        Hace referencia al contenido bien definido que ha sido enseñado.
        
        Reclutamiento laboral:
        El dominio de contenido
        consiste en los conocimientos y habilidades requeridos para un trabajo específico.
        
        Proceso:
        
        Análisis de puesto: proceso de desarrollar una lista de
        conocimientos y habilidades necesarios para un trabajo
        
        Se ajusta el contenido de la prueba al contenido del puesto
        
        Diferencias entre reclutamiento y pruebas de aprovechamiento:
        
        En las pruebas de reclutamiento la base de las especificaciones es desarrollada por expertos.
        
        Las pruebas de reclutamiento si usa la cifra del porcentaje para la evaluación.
        
        La validez de contenido puede tener un uso limitado en
        áreas como la inteligencia y la personalidad porque son menos
        susceptibles de hacer especificaciones claras de los dominios que se deben cubrir.
      - Problemas con la validez de contenido
        
        Es complicado especificar de manera clara el dominio de contenido
        
        Juzgar qué tan bien los reactivos de la prueba cubren los elementos de las especificaciones del contenido, estos pueden variar mucho en las
        habilidades que demandan
        
        Esta no hace referencia en ningún
        sentido al desempeño real en la prueba.
    - - Hace referencia a procedimientos en los cuales las calificaciones en la prueba de un grupo de personas se comparan con las puntuaciones u otras medidas de desempeño.
        
        Validez predictiva:
        La prueba busca predecir el estatus en
        algún criterio que será alcanzado en el futuro.
        
        La magnitud de un coeficiente de validez predictiva está limitada por la confiabilidad de las
        variables de predicción y de criterio
        
        El coeficiente no puede ser mayor que la raíz cuadrada del producto de esas
        dos confiabilidades.
        
        Validez concurrente:
        Establece la concordancia entre el desempeño en la prueba y el
        estatus actual en alguna otra variable
        
        Se emplean siempre que una prueba se aplica a personas clasificadas en varias categorías con el propósito de determinar si las puntuaciones en la prueba de las personas ubicadas en una categoría son significativamente diferentes a otras categorías.
        
        Consideraciones especiales para interpretar la validez de criterio
        
        :pencil2: Condiciones que afectan el coeficiente de correlación.
        
        Relaciones no lineales: Examinar la tendencia en el gráfico de dispersión
        
        Heterogeneidad de grupo: Las características de un grupo de personas en quienes se valida una
        prueba incluyen variables como sexo, edad y rasgos de personalidad (variables moderadoras)
        Se produce coeficientes de validez
        relativamente altos con un grupo muy heterogéneo
        
        Homecedasticidad: supuesto de que los puntos
        de los datos están dispersos de un modo aproximadamente igual alrededor de la línea de
        predicción.
        
        :spiral_note_pad: Extensión de la prueba.
        Las puntuaciones en una prueba más larga producen varianzas más
        grandes y, en consecuencia, mayor validez predictiva que las puntuaciones
        
        :pen: Relación entre confiabilidad y validez
        Una confiabilidad limitada, sea de la prueba o del criterio,
        limitará la validez de criterio.
        Si una prueba no tiene ninguna confiabilidad –las puntuaciones de la prueba son sólo error aleatorio–, tampoco puede tener validez
        
        Términos especializados:
        
        Atenuación: se refiere al límite impuesto a la validez debido a la confiabilidad imperfecta.
        
        A partir del coeficiente de validez podemos calcular el coeficiente desatenuado (coeficiente de validez corregido por falta de confiabilidad)
        
        La corrección por falta de confiabilidad suele aplicarse para llevar la prueba a un nivel, aunque es muy poco realista.
        
        Coeficiente de validez corregido por falta de
        confiabilidad en la prueba (X).
        
        Coeficiente de validez corregido por falta de
        confiabilidad en el criterio (y).
        
        Validez del criterio
        ¿Es apropiado el criterio?
        Es importante pensar en la validez de la
        definición operacional del criterio.
        
        Contaminación del criterio
        Refiere a una situación en la que el desempeño
        en la prueba influye en el estatus del criterio.
        La correlación puede aumentar o disminuir por el acceso a las puntuaciones del criterio
        
        No hay fórmulas ni métodos para determinarla.
        
        Validez convergente y discriminante
        Suelen usarse con mayor frecuencia en la medición de la personalidad.
        
        Validez convergente se refiere a una
        correlación relativamente alta entre la prueba y algún criterio pensado para medir el
        mismo constructo que la prueba. Buscamos correlacionar la prueba con otras reconocidas para la medición del constructo.
        
        Validez discriminante: refiere que prueba tiene una correlación relativamente baja con constructos diferentes al que se pretende medir con ella
        
        Matriz multirrasgo-multimétodo
        Una aplicación especial de los conceptos de validez convergente y discriminante
        La matriz es justo una matriz de correlaciones, donde las variables
        incluyen pruebas que pretenden medir diferentes rasgos (multirrasgo) por
        medio de distintos métodos (multimétodo).
        
        :bulb: Propósitos:
        Demostrar que las correlaciones dentro de un rasgo utilizando múltiples métodos son más altas que
        las correlaciones que combinan distintos rasgos y métodos
      - Evidencia basada en relaciones con otras variables (Standards, 2013)
        Relaciones prueba-criterio. la prueba no es una medida de un criterio sino más
        bien una medida hipotetizada como un predictor potencial de ese criterio objetivo.
        
        Misma distinción de estudios predictivos y concurrentes
      - Aplicaciones comunes de la validez de criterio
        Implican el uso de:
        a) un criterio externo y factible que defina el constructo de interés:
        Puede requerir mucho tiempo y recursos.
        
        Aplicando la ecuación de regresión común para hacer predicciones, Y es el criterio externo y X es la prueba.
        
        Estimar las probabilidades de que casos individuales se acerquen o no al estatus predicho: Empleo de error estándar de estimación, que es una desviación estándar de las puntuaciones reales
        del criterio alrededor de las puntuaciones predichas.
      - b) Contrastes grupales:
        Mientras mejor es la diferenciación entre grupos, más válida es la prueba
        
        No es suficiente limitarse a informar que hubo una “diferencia estadísticamente significativa”.
        Lo importante es que la prueba distinga entre los grupos (medias de criterio y grupo de contraste) para hacer conjeturas prácticas.
      - c) Correlaciones con otra prueba.
        En este método, la otra prueba que ya es una medida valida del constructo de interés se convierte en el criterio
        La correlación (generalmente de Pearson) entre las dos pruebas expresa la validez.
        :warning: Cuidados
        
        No cometer la falacia de retintín o del tintineo al creer que las pruebas miden lo mismo por tener nombres similares, o miden constructos diferentes porque tienen palabras distintas en sus nombres.
        
        Basarse en evidencia empírica ( correlaciones), cuyo grado puede representarse en distribuciones bivariadas o cuadro de expectativas
    - - Correlación múltiple: técnica estadística multivariada que se usa con mayor frecuencia cuando se combina información de distintas pruebas.
        
        Permite expresar la relación ente una variable (el criterio) y la
        combinación óptima de dos o más variables (en este caso, varias pruebas)
        
        Propósitos principales:
        
        Obtener la mejor predicción posible de una variable dependiente a partir de otras variables (necesarias)
        
        Comprender a nivel teórico qué variables contribuyen a la predicción de una variable dependiente y qué variables son superfluas
        
        Productos finales del procedimiento:
        
        Coeficiente de correlación múltiple (R). Se escribe acompañados de subindices para indicar lo que se predice.
        se interpreta como el coeficiente de Pearson (coeficiente de correlación de orden cero)
        
        Pesos asignados a variables predictoras, las cuales pueden ser b (puntuaciones naturales) y betas (puntuaciones estandarizadas z)
        
        La ecuación que muestra una predicción a
        partir de una correlación múltiple, llamada ecuación de regresión múltiple
        Las variables con números “grandes” por lo
        general obtienen pesos pequeños, y a la inversa
        
        Cuestiones importantes de la metodología:
        
        Orden en que las variables se introducen en una ecuación.
        
        Superposición entre los predictores
        
        Cuando nuevas variables no aportan ningún poder predictivo una vez que se han tomado en cuenta otros predictores.
        
        :check: Ventajas:
        
        Crucial para determinar la validez incremental, la cual refiere a cuanta información nueva y única aporta una prueba. Esta validez permite determinar cuán difícil y costoso es
        obtener información nueva y si ésta vale el esfuerzo y costo extras.
        
        Uso de varias pruebas para predecir el estatus de un criterio
      - Validez cruzada y encogimiento de la validez:
        Prácticas para detallar las variables más "significativas" o que tendrán más peso
        
        Validación cruzada: se refiere a determinar la ecuación (y R) en una muestra, y luego aplicar la ecuación en una nueva muestra para ver qué R emerge.
        
        La pérdida de validez (es decir, reducción de R) de la primera a la
        segunda muestra se conoce como encogimiento de la validez.
        Este problema disminuye conforme el tamaño de la muestra aumenta.
      - Predicción estadística frente a predicción clínica
        Otra alternativa para combinar la información son las basadas en la intuición y experiencia clínica.
        Pero estudios han demostrado que en general las procedimientos estadísticos son iguales o, muchas veces, mejores que las
        predicciones clínicas.
        Pero, el desarrollo de fórmulas
        requiere de una base de datos adecuada que no siempre se tiene, por lo que es necesario recurrir a la predicción clínica
    - - Estructura interna: la consistencia interna alta apoya la
        afirmación de que la prueba mide un constructo o rasgo particular.
        Sin embargo, es necesario tratarla como un prerrequisito de la
        validez más que como evidencia de validez por sí misma
      - Análisis factorial: técnicas estadísticas que ayudan a identificar las
        dimensiones comunes que subyacen en el desempeño en muchas medidas diferentes.
        
        Pretende simplificar la información que nos da una matriz de
        correlaciones para hacerla más fácilmente interpretable.
        (r2) expresa la proporción de varianza común o de variación conjunta
        
        :pencil2:Conceptos previos: varianza compartida y varianza única
        
        La varianza (σ2) de cada ítem nos indica las diferencias que crea en las respuestas
        
        Cada ítem o variable tiene su varianza (diferencias en las respuestas), pero esta varianza
        de cada ítem puede estar compartida con la varianza de otros ítems.
        
        También hay varianza (diferencias en las respuestas) no compartida a la que se le llama errores de medición
        
        La varianza total de un ítem viene dada por la suma de la varianza común o compartida, más la varianza espercifica de cada variable y la varianza debido a los errores de medición.
        
        Supuestos del análisis factorial exploratorio
        Pueden verse afectados por la existencia de puntuaciones atípicas
        
        Linealidad
        
        En el caso de existir desviaciones del patrón lineal se reduce
        significativamente la magnitud de los coeficientes de correlación.
        
        Multicolinealidad de las puntuaciones.
        
        Simplemente puede observarse en la matriz de correlaciones atendiendo a la existencia de
        valores iguales o superiores a .90.
        
        La normalidad
        
        Se puede comprobar con pruebas de normalidad como Shapiro Wilk o Kolmovogov
        
        Un método alternativo consiste en estimar
        los índices de asimetría y curtosis, considerando que los valores dentro del umbral .1,5 indican variaciones leves de la normal
        
        Consideraciones:
        Es esencial que la muestra sea de
        gran tamaño para asegurar un menor error de muestreo. (idealmente 10 participantes por cada ítem o mínimo 5 por ítem) Con muestras muy grandes se recomienda conducir un
        análisis factorial diferenciado para cada sexo
        
        Métodos de extracción y determinación del número factores
        
        Se puede analizar toda la varianza, común y no común; en este caso utilizamos los unos
        de la matriz de correlaciones Análisis de Componentes Principales
        
        Analizar solamente la varianza común, y en este caso substituiremos los unos
        de la diagonal por estimaciones de la varianza que cada ítem tiene en común con los demás (comunalidades). Este procedimiento se denomina análisis de factores comunes.
        
        Resultados del análisis factorial:
        Suelen representarse como una matriz factorial, que muestra el peso (correlaciones) que cada variable original tiene en los factores recién establecidos.
        En este análisis, a las correlaciones se les denominan cargas (mayores a 0.30 son notables)
        
        Nos indica cómo tienden a agruparse los ítems o variables, se examina el contendido conceptual y se comprende que qué factores [o constructos] subyacentes explican las correlaciones entre los ítems.
        
        Rotación e interpretación de factores
        
        Luego de extraer los factores iniciales, estos son sometidos a un procedimiento denominado rotación (cuando hay más de un factor en la solución).
        El término proviene de la representación gráfica y geométrica del análisis factorial; se realiza para
        que la solución factorial se aproxime a lo que se denomina estructura simple
        
        Las rotaciones pueden ser ortogonales u oblicuas y dos métodos muy empleados son Varimax y Promax
        
        Las soluciones provistas por los métodos de rotación oblicua son más congruentes con la estructura
        de las variables psicológicas
        
        La ortogonalidad absoluta es sólo teórica y, a los fines prácticos, se
        intepreta que una solución es ortogonal cuando todas las
        correlaciones entre los factores son inferiores a .32.
        
        La interpretación se logra examinando en la matriz rotada, el patrón de
        correlaciones bajas y altas de cada variable con los distintos factores y, en especial, utilizando el conocimiento
        teórico que se posea acerca de las variables incluidas en el análisis.
        
        Análisis factorial exploratorio y Análisis factorial confirmatorio.
        
        Exploratorio: más un procedimiento para generar
        teorías que para confirmarlas.
        
        Confirmatorio: Supone establecer como hipótesis previa, requiere pruebas complementarias de bondad de ajuste, para confirmar si la estructura obtenida coincide con la estructura propuesta como
        hipótesis.
      - Procesos de respuesta
        La evidencia proveniente de los procesos de respuesta no suele ofrecer evidencia sólida
        ni muy persuasiva en relación con la validez de la prueba
        
        Evidencia basada en procesos de respuesta (Standards, 2013)
        Es importante proporcionar evidencia sobre la diferencia entre el constructo y la naturaleza del desempeño o la respuesta que realmente realizan los examinados.
        También se puede documentar otros aspectos de desempeño como los movimientos oculares o los tiempos de respuesta por medio de la actuación de observadores
      - Efecto de las variables experimentales
        Estudiar los efectos de variables experimentales es similar al método de grupos
        contrastados de la validez de criterio.
      - :baby: :two_men_holding_hands: Cambios maduracionales o en el desarrollo
        Fuente de información con respecto de la validez de constructo.
        Se espera que a lo largo de las etapas de la vida la capacidad mental sea mayor.
        
        Puede pensarse como una variante del método de grupos contrastados, en este caso se contrastan grupos de diferente edad o grado.
    - - Consideraciones:
        
        Tema relacionado con las declaraciones explícitas de algunos autores de pruebas respecto de las consecuencias.
        
        Si el propósito explícito incluye una consecuencia buscada, sin duda el proceso de validación debe tomar en cuenta esa consecuencia.
        
        Tema relacionado con las posibles consecuencias independientemente de estas declaraciones. En casos donde los autores solo afirman la predicción de un constructo y no detallan otras consecuencias
    - - 1. Integración de la evidencia
        En el análisis final, es necesario llevar a cabo la generalización de la
        validez, es decir el proceso de sopesar toda la evidencia y juzgar la pertinencia de los
        estudios existentes para un uso específico anticipado.
        
        :check: Requiere:
        a)Conocimiento del área de contenido pertinente
        b) Estar familiarizado con la investigación realizada con la prueba y pruebas similares
        C) Comprensión de los conceptos y
        procedimientos para la validez
        d) Análisis perceptivo de las circunstancias
        locales para un uso anticipado de la prueba.
        
        Revisiones para la integración:
        Metaanálisis: técnica para resumir la información
        real estadística de muchos estudios diferentes sobre un solo tema. Obtiene como resultado un estadístico o una medida del tamaño del efecto de la generalización de todos los estudios sobre el tema
        
        Integración de evidencia de validez (Standards, 2013)
        La evidencia de la validez
        permite un juicio sumario de la interpretación prevista
        El argumento de validez puede indicar la
        necesidad de refinar la definición del constructo, puede sugerir
        evisiones en la prueba u otros aspectos del proceso de prueba, y
        puede indicar áreas que necesitan más información "proceso de validación nunca termina".
- - - - Índice base.
        Porcentaje de individuos de la población que tienen alguna característica
        La proporción de solicitantes que se esperaría desempeñaran satisfactoriamente un trabajo incluso si no se hubiera empleado un instrumento
        
        Puede cambiar dependiendo de cómo se defina la población
        Cuando el índice base es extremo, muy alto o muy bajo, es difícil mostrar que una prueba tiene una buena validez al identificar individuos del grupo meta
        :check: Buena validez: Indice base se acerca a 50%
      - Razón de selección: la proporción de solicitantes que serán seleccionados.
        Entre menor sea la razón de selección, más alta es la calificación límite y viceversa.