Please enable JavaScript.
Coggle requires JavaScript to display documents.
textLECTURA 2: VALIDEZ Y CONFIABILIDAD - Coggle Diagram
text
LECTURA 2: VALIDEZ Y CONFIABILIDAD
Confiabilidad
Dimensiones de la confiabilidad
Se utiliza para abarcar varios aspectos
Los cuales se relacionan con distintas fuentes
De medición
Distintos procedimientos para evaluarlos
Fuente de error
Factor que incida en el puntaje de un sujeto
Que no este relacionado con lo que él instrumento intenta medir
Evaluar en que grado el puntaje de un sujeto
Esta dimensión de confiabilidad
Está relacionada con características de la variable que se desea medir
Cuando se evalúan estados de ánimo
Procedimientos indicados
Para evaluar la estabilidad temporal
Método Test-Retest
Método de Formas Equivalentes
En que medida la muestra de elementos resulta una fuente de error en la medición
Se define como el grado en que distintas partes miden la primera misma variable
Métodos
El método de formas equivalentes
La partición en mitades
Método de análisis de varianza e ítems
Evaluar el grado en que la medición de un rasgo es independiente
Alude a la univocidad de datos
Procedimiento indicado
Método de acuerdo entre jueces
Técnicas para medir la confiabilidad
Método de test retest
Evalúa la estabilidad temporal de las puntuaciones
Consiste en
a) Aplicar un prueba en dos oportunidades a la misma muestra de sujetos
b) Con lapso intermedio y calcular la correlación entre los puntajes obtenidos en la primera y segunda administración del test
c) La técnica es sencilla y económica
El tiempo que debe transcurrir entre una y otra aplicación
Debe definirse atendiendo a las características de la variable medida y de los sujetos evaluados
El intervalo temporal
Para repetir un test se establece de acuerdo a criterios
Variable medida
Objetivo del test, entre otros
Resultado
Se expresa en un número que generalmente varia
Entre -1,1
0 es la ausencia total de correlación entre puntajes
El coeficiente más usado
Pearson
Pero va a depender del nivel de medición
Nominal
Ordinal
Intervalar
Método de formas equivalentes
Evalúa la consistencia interna
Como la estabilidad temporal de un conjunto de puntuaciones
Principal inconveniente
Debe comprobarse que ambas pruebas son paralelas y equivalentes
Para ser consideradas equivalentes
Deben tener las mismas categorías formales
Haber sido construidas con las mismas tablas de especificaciones
Tener medias y desviaciones estandar semejantes
Tener coeficientes de correlación elevados entre ambas
Cada una debe incluir una muestra representativa de ítems que mida la variable
Método de partición en mitades
Se verifica la consistencia interna de una prueba
El grado en que diferentes partes de l test miden la misma variable
Se aplica el test en una sola ocasión a un grupo de sujetos, se divide la prueba en dos mitades comparables
Dificultad
Es lograr que las mitades obtenidas sean realmente comparables
El criterio comúnmente adoptado para dividir la prueba
Es el de separar en grupos de ítems pares e impares
Requiere estadístico adicional
Corrección de Spearman-Brown
Método de análisis de varianza de ítems
Permite evaluar la consistencia interna del instrumento
Se basa en el análisis interno de una sola aplicación de la prueba
Coeficiente de alfa es el estadístico preferido para estimar la consistencia interna de una prueba
Para dicho fin
Debe contarse con procedimientos alternativos
Como el método test-retest
Formas equivalentes
Método de acuerdo entre examinadores
Evalúa la confiabilidad entre examinadores
Procedimiento
Consiste en aplicar la prueba a una muestra de sujetos
Entregar datos a un grupo de N jueces que los evaluaran actuando independientemente unos de otros y correlacionar los resultados obtenidos
Se verifica el grado de acuerdo a que arriban los distintos jueces luego de leer, registrar y codificar los mismos datos
Coeficientes utilizados
Para estimar el grado de acuerdo
El Phi de Cramer
Índice Kappa
Escalas ordinales o intervalares
Estadistica Kappa modificada
Q de Kendall
Y de Yule
Se emplean para clasificar las respuestas de los sujetos al tenis de la prueba
Define
exactitud o precisión de una medición realizada a través de un test o técnica de evaluación
APA (1999)
la confiabilidad
hace referencia a la consistencia de las mediciones cuando un test es repetido en una población de individuos o grupos.
coherencia de los puntajes obtenidos por los mismos individuos en distintas ocasiones o con diferentes conjuntos de ítems equivalentes
términos estrictos
no es una característica del test
sino una propiedad de las puntuaciones del mismo
cuando se administra la prueba a un grupo particular de personas en una ocasión particular y bajo condiciones específicas
Conociendo la confiabilidad de un instrumento
podemos interpretar los datos que se obtienen por su medio con un nivel determinado de confianza
siempre que se mide algo
físico como biológico o social
contiene cierta cantidad de error
puede ser grande o pequeño, pero existe siempre en cierto grado.
Factores que determinan la falta de confiabilidad
los más importantes
en función del momento del proceso de evaluación en el que tienen mayor incidencia
influyen principalmente
En el momento de administrar un test
pueden cometerse varios errores que afecten la confiabilidad de los resultados
debe tratar de examinar a todos tos participantes en condiciones uniformes
intentar reducirse las diferencias generales en el ambiente en que se administran los tests
1 more item...
Al evaluar una prueba
factores afectan la confiabilidad
tests de opción múltiple, los errores que se cometen al evaluarlos
son puramente mecánicos
1 more item...
Al construir un test
debe tenerse en cuenta que la elección de los ítems
los materiales a través de los cuales buscaremos la respuesta del examinado
y la formulación de las consignas pueden significar una fuente de error en la medición
error de medición
es por definición
origen aleatorio e impredecible
distinguiéndose de los errores sistemáticos
afectan el desempeño de las personas en un test, pero de una manera más consistente que aleatoria
errores sistemáticos pueden
afectar a cierto tipo de observaciones de manera diferente que a otras y ser un sesgo
afectar a todas las observaciones por igual y ser un error constante
Validez
Es una técnica psicométrica para ser aplicada de forma responsable, si se demuestra que alcanza la finalidad asignada
Este concepto de Valides es el más importante pero a la vez el más difcicultoso
La mayor parte de los rasgos psicológicos son constructos
es decir, una construcción mental del investigador
Los rasgos son características latentes, conceptos teóricos elaborados
para describir algunos atributos recurrentes de la conducta de una persona
Los rasgos no son factibles de medición directa
Evidencia de las relaciones test criterio
la validez de una prueba
significa la efectividad
con que se puede predecir, a partir del resultado de la prueba
el rendimiento del sujeto
situación real
El tipo de estadístico a aplicar depende
tipo de variables medidas y de las escalas de medición empleadas
El criterio es una medida
directa e independiente
de lo que el test intenta predecir o inferir
El diseño
experimento básico
se realiza para verificar si un test dado posee validez de criterio es
b) Estos son evaluados tanto por medio del test en estudio como por el criterio a predecir
Con los datos así obtenidos se estima un coeficiente de correlación
Si éste es significativamente distinto de cero
que el test es un predictor del criterio para cualquier sujeto que pertenezca a aquélla población
, la correlación no es significativamente distinta de cero
podrá afirmarse que el test carece de validez de criterio, para los sujetos en examen
De una población determinada se extrae una muestra de sujetos
Problemas
para comprobar la validez de criterio de una prueba
es la selección de los indicadores operacionales del criterio
Existen factores que pueden afectar las relaciones entre los resultados de una prueba y las medidas del criterio
los más importantes son
Diferencias de grupo
refiere a variables moderadoras como sexo, edad o rasgos de personalidad que pueden influir en las correlaciones entre una
prueba y un criterio
Extensión de la prueba
afecta la validez tal como acontece en la confiabilidad.
1 more item...
La visión unificadora de validez parece ser tomada de las normas para test psicológicos y educativos (APA, 1999)
donde se define la validez como " la adecuación, significación y utilidad"
de las inferencias específicas, hechas a partir de las puntuaciones de los tests
La (APA, 1999) propone 5 tipos de evidencias:
La estructura interna del test
Las relaciones con otras variables externas al test
El contenido del test
Las consecuencias de su aplicación
El estilo de respuestas al test
es un concepto unitario, y se refiere al grado en que la evidencia experimental, apoya las puntuaciones hechas
desde las puntuaciones de los tests
Una validación ideal incluyen varios tipos de evidencia
Contenido
Criterio
Concepto
el producto final de este proceso es un constructo de las sigtes características
Está bien definidos en términos de una variedad de observaciones
Se correlaciona con otros constructos de interés
Principales fuentes de evidencias de validez de los tests*
Evidencia basada en la estructura interna del test
Los análisis de la estructura interna indican el grado en el cual las relaciones entre los ítems y los componentes (factores, escalas, subtests) del test
confirman la existencia de los constructos sobre el cual se basan las interpretaciones de la prueba.
En ese sentido, una encuesta de salud puede evaluar dimensiones de salud orgánica y emocional
si las interrelaciones entre los ítems confirman ese marco teórico esta es una información relevante para la validez (APA, 1999).
El análisis factorial fue hecho para identificar rasgos psicológicos y es relevante para obtener evidencia de la estructura interna de un test
En el proceso de análisis factorial, se reduce el número de variables o categorías
inicialmente contempladas y el rendimiento o comportamiento típico de cada sujeto puede describirse con una cantidad pequeña de factores o rasgos comunes
Evidencia basada en el contenido
este tipo de evidencia se obtiene demostrando que "el contenido del test es una muestra representativa del conjunto de situaciones con respecto al cual se desea hacer alguna inferencia"
si los ítems de prueba son representativos de un dominio particular, el desempeño del sujeto en la misma puede generalizarse a todo el dominio
Esta clase de evidencia es especialmente importante de obtener en las pruebas de rendimiento para verificar la representatividad y relevancia del contenido del test
con respecto a los objetivos, actividades, conocimientos y destrezas
hay dos requisitos indispensables para asegurar validez de contenido en una prueba:
un conjunto de ítems representativos
métodos "sensibles" para construir pruebas
Según Martínez Arias (1995) en la validación del contenido deben seguirse las siguientes etapas:
b. Identificación de expertos en dicho universo
c. Juicio de los expertos acerca del grado en que el contenido del test es relevante y representativo de dicho universo
a. Definición del universo de situaciones a medir
d. Un procedimiento para resumir los datos resultantes de la fase precedente
se presentan a los jueces los ítems preliminares de la prueba para su evaluación es conveniente adjuntar un formato estandarizado de calificación
Los jueces valorarán independientemente en el formato diseñado para tal fin cada uno de los ítems
Evidencia de la relación del test con variables externas
Evidencia convergente-discriminante
La técnica en cuestión debe mostrar correlaciones significativamente más altas con las pruebas que evalúan el mismo atributo que con las diseñadas para evaluar atributos diferentes.
Este tipo de evidencia se denomina "de convergencia" y está dada por correlaciones relativamente altas entre aquellos instrumentos de medición diseñados para evaluar un rasgo común.
La evidencia de "discriminación" está dada por las correlaciones relativamente bajas o negativas entre instrumentos que miden rasgos diferentes
La correlación significativamente elevada entre los resultados obtenidos por un mismo grupo de sujetos examinados en dos pruebas que midan razonamiento numérico (subtests matemáticos del DAT y el GATB) es un ejemplo de validez convergente
Evidencia basada en el proceso de respuesta del test
. Esta evidencia se obtiene de los análisis de las respuestas individuales a la prueba
los administradores deben interrogar acerca de las estrategias de respuesta de las personas, lo que puede enriquecer la comprensión del constructo
Esta evidencia puede contribuir a resolver los interrogantes relacionados con las diferencias entre grupos significativos de examinados al significado o interpretación de los puntajes de test