CONFIABILIDAD
MARCO CONCEPTUAL
más que ser una característica de una prueba,
la confiabilidad es una propiedad de las puntuaciones obtenidas cuando se administra la prueba
a un grupo particular de personas en una ocasión particular y bajo condiciones específicas
4⃣ distinciones
4.Error constante (desviación sistemática de las puntuaciones de su valor verdadero) ≠ errores no sistemáticos en las mediciones
1.La confiabilidad está relacionada con la consistencia de la medición al margen de lo que mida exactamente la prueba, mientras que la validez se encarga de indicar el grado de exactitud con el que se mide el constructo que se pretende medir en la prueba
2.En psicometría, una prueba es confiable en la medida en que consistentemente genere la misma puntuación en los individuos, permita replicar su calificación (con cierto margen de error) y podamos fiarnos en que genera en buena medida la misma puntuación en el individuo.
3.Cambio real en el tiempo medido ≠ cambio temporal de puntuaciones debido a circunstancias personales
Elementos fundamentales de la confiabilidad:
✅Diagrama de dispersión: representación gráfica de la relación entre dos variables
✅Coeficiente de correlación: proporciona un resumen numérico de la representación presentada en una distribución bivariada
✅Línea de regresión: se sirve de la relación para pronosticar la condición en Y a partir de lo que se sabe de X (o viceversa)
Factores que influyen en los coeficiente de correlación:
☝🏻 El coeficiente de correlación de Pearson sólo explica el grado de relación lineal entre dos variables (si se observa no linealidad, se subestimará el verdadero grado de relación)
☝🏻Aunque el grado de dispersión es igual para cualquier punto de la línea de predicción, es posible que la distribución bivariada muestre heteroscedasticidad.
☝🏻 La correlación es un asunto de posición relativa, no de puntuación absoluta
☝🏻 Se debe considerar el efecto de la variabilidad del grupo en el coeficiente de correlación (heterogeneidad u homogeneidad) pues pueden influir en la magnitud de la correlación
💥 Fórmulas que permiten corregir en r una mayor o menos variabilidad en el grupo
Para calcular r en un grupo más heterogéneo de una r obtenida en un grupo más homogéneo
-Para calcular r en un grupo más homogéneo
Principales fuentes de inestabilidad
1⃣Calificación de la prueba: la falta de acuerdo entre calificadores puede generar una variación no sistemática en las puntuaciones de las pruebas
2⃣Contenido de la prueba: las variaciones en el muestreo de los reactivos de una prueba pueden generar un error no sistemático en las puntuaciones de la misma
3⃣Condiciones de aplicación de la prueba: se debe contar con procedimientos estandarizados para la aplicación, de no controlar los detalles, pueden surgir fuentes de varianza en las puntuaciones de la prueba
4⃣Condiciones personales: las condiciones temporales de los examinados pueden ejercer influencias no sistemáticas en sus puntuaciones de la prueba
Teoría clásica de la prueba:términos claves ➡ puntuaciones observadas (O) o puntuación real/natural obtenida, puntuaciones verdaderas (V) o puntuaciones obtenidas si se eliminaran las fuentes de inestabilidad y puntuación de error (E) o la diferencia entre la puntuación verdadera y la observada
También se puede expresar en términos de varianzas de las puntuaciones de la prueba
La confiabilidad se define en ocasiones como:
Teoría de la Respuesta al Ítem: El análisis de confiabilidad de la TRI depende del funcionamiento de los reactivos dentro de la prueba (forma independiente). Además, se emplea el concepto de precisión de medición, que puede diferir en varios puntos a lo largo de la escala
Teoría de la generalización empieza por conceptualizar
una calificación observada de la prueba como una estimación de un universo de calificaciones
correspondiente y constituye un esfuerzo por evaluar simultáneamente muchas fuentes de inestabilidad
Los cálculos implican: aplicar las técnicas estadísticas de
análisis de varianza para determinar la generalización de las puntuaciones de la prueba como
función de los cambios y variaciones en las condiciones
Luego puede calcularse un coeficiente de generalización como la razón de la varianza
esperada de las calificaciones en el universo con la varianza de las calificaciones en la muestra.
Por último, puede estimarse un valor universal las cuales están compuestas por la puntuación promedio a lo largo de todas las ocasiones, formas y calificadores
⚠ Factores que influyen en los coeficientes de confiabilidad:
❗La correlación no es un problema significativo en el caso de la confiabilidad
❗La curvilinealidad no es un problema en cuanto a los datos de la confiabilidad
❗ La heteroscedasticidad bien podría ser un problema en el caso del error estándar de medición
❗La variabilidad del grupo suele ser un problema al interpretar los datos de la confiabilidad
🔎MÉTODOS PARA DETERMINAR LA CONFIABILIDAD
✏ Confiabilidad Test-Retest: es un coeficiente de confiablidad que se obtiene aplicando la misma prueba a los mismos individuos en dos ocasiones diferentes. Este coeficiente es sencillamente la correlación entre las puntuaciones de la primera y segunda evaluación.
•Este método aborda fuentes de inestabilidad como: condiciones personales, puede abordar las variaciones debidas a la aplicación de la prueba y la variación entre calificadores
⚠Inconvenientes: el método no explica los resultados sistemáticos debido a las variaciones en el contenido de la prueba, es engorroso realizar la misma prueba dos veces, también preocupa el efecto de la primera prueba en la segunda y el tiempo transcurrido entre la primera y segunda prueba podría ser un tema preocupante
✏Confiabilidad entre calificadores: consiste en que dos personas califiquen las respuestas de un número considerable de examinados y calcular luego la correlación entre los dos conjuntos de calificaciones
criterios:
-Los jueces o calificadores deben trabajar de forma independiente para evitar contaminar el estudio de la confiabilidad
-El CCI permite determinar la confiabilidad entre calificadores
✏ Confiabilidad de consistencia interna: consiste en una serie de métodos que buscan medir la característica común de la consistencia interna de un instrumento
División por mitades: una
sola prueba se considera compuesta por dos partes (formas paralelas) que miden la misma cosa
La corrección Spearman-Brown se utiliza para generar la confiabilidad de todo el instrumento
Para lograr dividir la prueba en dos mitades se utiliza confiabilidad non-par
✏ Coeficiente alfa: es una
fórmula general para estimar la confiabilidad de una prueba que consta de reactivos en los cuales
pueden asignarse calificaciones de distinto peso a respuestas diferentes.
Fórmulas de Kuder-Richardson: exige una calificación dicotómica de los reactivos
K= # reactivos x ¯= media de calificaciones totales s2= varianza de las calificaciones totales y pi=proporción de examinados que dan la respuesta
de la clave al reactivo i
Consideraciones
-Alfa depende de la correlación promedio entre reactivos e indica la homogeneidad de reactivos
-Alfa se relaciona con la inestabilidad debido al muestreo del contenido
✏ Confiabilidad de la forma alterna:¨ exige que haya dos formas de la prueba que deben ser iguales o similares en sus reactivos, límite de tiempo, especificaciones de contenido, etc. y que ambas se deben aplicar a los mismos examinados.
-este método corresponde a la correlación entre las puntuaciones obtenidas de las dos formas
•mide la inestabilidad debido al muestreo de contenido, los cambios en las condiciones personales y las variaciones en las condiciones de la aplicación
Tipos de errores estándar
Error estándar de medición: es una estimación de la desviación estándar de una distribución normal de las calificaciones de la prueba que se supone serían obtenidas por una persona que presentara la prueba un número infinito de veces
fórmula:
Error estándar de la media: es la desviación estándar de una población hipotética de medias de muestra para las muestras distribuidas en torno a la media poblacional
-Si la confiabilidad de la prueba es perfecta, entonces no hay error de medición
Error estándar de estimación: Es la desviación estándar de las puntuaciones Y reales en torno a las puntuaciones Y pronosticadas cuando Y se predice a partir de X
❤ Aspectos especiales de la confiabilidad:
Informes narrativos: facilitan la labor de interpretación de las puntuaciones de la prueba
Subpuntuaciones y reactivos individuales: debe ofrecerse información sobre la confiabilidad de la puntuación que se interpreta realmente
Perfiles: son la base para la interpretación del instrumento, lo que realmente interesa aquí son los patrones que muestran los perfiles
Pruebas con referencia al criterio: determinar la confiabilidad se torna importante en las PRC, aunque los métodos para hacerlo dependan de la distribución de las puntuaciones de a prueba y de los usos de las puntuaciones
Métodos para expresar la confiabilidad
-Acuerdo de proporción
-Kappa de Cohen
-K de Livingstone
👁 La confiabilidad puede ser medida fuera del contexto de las pruebas psicológicas, como es el caso de las mediciones fisiológicas y del buen estado físico, las cuales también hacen uso de métodos como el test-retest y conceptos como error estándar de medición
CONCLUSIONES IMPORTANTES
1.Importancia en la longitud de la prueba (+ larga, + confiables)
2.La confiabilidad se maximiza cuando el porcentaje de examinados que responden correctamente es cercano a .50
tener en cuenta:
1.La medición de procesos sencillos no es perfectamente confiable
2.Solo porque la medición se realice con un instrumento científico, no significa que esté libre de error
Interpretación de los coeficientes de confiabilidad
¿Qué tan elevada debe ser la confiabilidad?
R//: Depende de lo que se desee hacer con la prueba (la finalidad) sin embargo, para decisiones importantes, la confiabilidad debe ser al menos de .90 y en casos en los que una prueba constituye uno de varios tipos de información que se consideran en forma conjunta, lo deseado es una confiabilidad de al menos .80