Please enable JavaScript.
Coggle requires JavaScript to display documents.
VALIDEZ DE CONTENIDO Y JUICIO DE EXPERTOS: UNA APROXIMACIÓN A SU…
VALIDEZ DE CONTENIDO Y JUICIO DE EXPERTOS: UNA APROXIMACIÓN A SU UTILIZACIÓN
Validez de contenido
consiste
qué tan adecuado
muestreo
que hace
prueba del universo de posibles conductas
Miembros
Denominarse
Reactivos
Items
Es
Componente importante
estimación
Validez de inferencias derivadas
de puntajes de las pruebas
brinda evidencia
acerca de la validez de constructo
base para la construcción
de formas paralelas de una prueba en la evaluación a gran escala
Establecer
posible universo de reactivos
requiere
adecuada conceptualización
operacionalización del constructo
El constructo procesos lectores
evaluado
dimensiones de
procesos
Semánticos
Pragmáticos
Sintácticos
Items
capturar dimensiones
Pruebas que pretender medir
Error de validez de contenido
sería que la dimensión semántica
no tuviera
ningún ítem que la evaluara
los ítems de la dimensión sintáctica sólo evaluaran una parte de ésta,
Pasos para realizar el juicio de expertos
Skjong y Wentworht (2000), y Arquer (1995)
proponen diversos pasos
b) Seleccionar los expertos y entrenarlos
c) Explicar el contexto
d) Posibilidad de discusión
e) Establecer el acuerdo entre los expertos por medio del calculo de consistencia
a) Preparar instrucciones y plantillas
Instruir al juez
en la dimensión
y el indicador
que mide cada item
o grupo de ellos
Es importante
brindar información
sobre el uso
que tendrán los resultados
de la prueba
por la validez del contenido
Métodos para la obtención de juicio de expertos
Individual
Método Delphi
luego de analizar las respuestas
se le envía a cada juez
la mediana obtenida
se le pide
que reconsidere el juicio
hasta el consenso
Grupal
pueden tener problemas
si se dan discusiones tensas
o si hay variables individuales
como por ejemplo
personalidad
o habilidades sociales
1 more item...
Emparejamiento de los items con el dominio
se entrega a los jueces
una lista de objetivos
se les presenta
cada item
en una ficha separada
el juez compara
cada item
con la lista
y registra el resultado
en una hoja de respuestas
3 categorías
La ambigüedad en el contenido de la tarea
La forma de la presentación de la tarea
La complejidad de la estructura de la tarea
La precisión de los juicios
dependerá
de las características
de los jueces
y de su experiencia
Coeficiente de concordancia W de Kendall
Se utiliza cuando se quiere conocer el grado de asociación
Entre K conjunto de rangos
El mínimo valor asumido es 0
Y el máximo es 1
Su interpretación es la misma que para el coeficiente de Kappa
Un valor alto de la W
Puede interpretarse como un reflejo de los k jueces
Están aplicando los mismos estándares al asignar rangos a los ítems
No garantiza que los ordenamientos observados sean correctos
Estadísticos para análisis
Es necesario conocer el grado de acuerdo entre ellos
Un juicio incluye
Elementos subjetivos
Cuando la medida "de acuerdo" obtenida es alta
Indica que existe consenso en el proceso de clasificacion
Para determinar el grado de acuerdo entre los jueces
Se han utilizado diferentes procedimientos
Calcular el porcentaje "de acuerdo"
Medida insuficiente
No incluye el acuerdo esperado por el azar
Medidas de correlación
Un alto índice de correlación
Sin embargo, un alto índice de correlación
No implica que el acuerdo sea alto
Adaptaron un ejemplo de Barko y Carpenter
Dos evaluaciones
En los dos casos se obtiene el mismo indice
Esta expresa inconveniencia de medida únicamente de correlación
Para la estimulación del acuerdo
Coeficiente Kappa
Se convirtió mas utilizado en ciencias biológicas y sociales
Wieghted k-coefficient
Generalización para incluir datos ordinales
Estadístico Kappa
Genera una medida de acuerdo entre evaluadores
Se utiliza cuando las variables
Están dadas en una escala nominal
Únicamente clasificadas
Tienen un rango
Entre -1 y 1
Generalmente se ubica entre 0 y 1
Si el coeficiente esta en 1
Nos indica acuerdo perfecto entre los evaluadores
Si es 0
Indica que el acuerdo no es mayor que el esperado por el azar
El valor del coeficiente es negativo
El nivel de acuerdo es inferior al esperado
Tiene como ventaja
Corregir el porcentaje de acuerdo
Debido al azar y es muy sencillo de calcular
Juicio de Expertos
Validez de contenido
se evalúa a través
panel o un juicio de expertos
raras ocasiones
evaluación está basada en datos empíricos
Utkin
plantea
Juicio de expertos en muchas áreas
es una parte
importante de la información
las observaciones experimentales están limitadas
es cierto
caso de la psicología
estrategia
principal para la estimación de la validez de contenido
Define
a opinión informada de personas con trayectoria en el tema
que pueden dar
Evidencia
Juicios
Información
Valoraciones
identificación de las personas
Forman parte del juicio de expertos
es una
parte crítica en este proceso
Skjong y Wentworht
Proponen
criterios
de selección
4 more items...
Se usa en múltiples ámbitos de la evaluación psicológica
Desde la medición de la confiabilidad de los profesionales en salud mental
para evaluar la competencia de pacientes psiquiátricos
respecto al consentimiento informado
la validación de contenido depruebas estandarizadas de altas especificaciones
Guía para la realización de juicio de expertos
Pasos para organizar la información
Calcular la concordancia entre jueces
se utilizan
los estadisticos
Kappa y Kendall
Elaboración de las conclusiones del juicio que serán utilizadas para la descripción psicométrica de la
prueba.
Explicitar tanto las dimensiones como los indicadores que está midiendo cada uno de los ítems de
la prueba
permitirá evaluar
relevancia,
pertinencia
suficiencia
Selección de los jueces
tomar en cuenta
a formación académica de los expertos,
su experiencia y reconocimiento
en la comunidad
se propone
mínimo de 5 jueces
2 expertos en medición y evaluación
1 en experto en lingüística
en casos de adaptaciones y traducciones de prueba
Diseño de planillas.
se deben diseñar
de acuerdo
al objetivo
de información
Especificar el objetivo de la prueba
proporcionar a los jueces
la información
relacionada
con el uso de la prueba,
Definir los objetivos del juicio de expertos
validar contenido en una prueba diseñada por un
grupo de investigadores.
Establecer la equivalencia
semántica de una prueba que se encuentra validada en otro idioma
Evaluar la adaptación cultural de los items en la prueba y que midan los mismos constructos
Establecer los pesos diferenciales de las dimensiones de la prueba
solo se hace
cuando
las investigaciones
tienen peso diferente