Please enable JavaScript.

Coggle requires JavaScript to display documents.

Validez de contenido - Coggle Diagram

- - - - Representatividad, que indica la adecuación con que el contenido del test representa el dominio definido
      - Relevancia,grado en que cada ítem del test mide el dominio definido
  - - - :check: Consideraciones para la estimación
        
        Apropiada selección de los expertos ( en función a: A) experiencias con el constructo tratado; B) Reputación; C) Disponibilidad y motivación; D) Imparcialidad)
        
        Si los jueces conocen qué se pretende medir y estos constructos vienen definidos, existe el riesgo de "dirigir" la evaluación (sesgos en la representatividad y relevancia de items)
        
        :red_cross: Inconvenientes
        Dificultad para la cuantificación de sus resultados por deficientes grado e concordancia entre los jueces
        
        Intento de solución
        
        Calcular un índice de acuerdo entre los jueces al evaluar el ítem, definido como la. proporción que existe entre los juicios que coinciden con la definición propuesta por el autor y el total de juicios emitidos
        
        Se toman como válidos los reactivos
        cuyos valores sean iguale o mayores que 0.80
        :no_entry: No se conoce la significación estadística
        
        Para tratar estos inconvenientes se propone cuantificar
        la validez de contenido utilizando métodos como :
        
        Prueba Binomial: análisis estadístico que estudia la probabilidad de obtener x objetos en una categoría y n-x objetos en la otra
        
        El Coeficiente de Validez V de Aiken
        Coeficiente que se computa como la razón de un dato obtenido
        sobre la suma máxima de la diferencia de los valores posibles.
        
        Las valoraciones pueden ser dicotómicas (0 a 1) o politómicas (valores de 0 a 5)
        
        A medida que sea más elevado el valor computado, el ítem tendrá una mayor validez de contenido
        
        Permite evaluar la relevancia de cada ítem respecto a su constructo; pero teniendo en cuenta, en este caso, no sólo el número de categorías ofrecidas a los jueces, sino también el número de expertos participantes
      - La valoración de los expertos suele realizarse en base a una escala tipo Likert.
        
        :memo: Pasos para realizar un juicio de expertos
        
        Preparar instrucciones y planillas
        
        Seleccionar los expertos y entrenarlos
        
        Explicar el contexto,
        
        Posibilitar la discusión
        
        Establecer el acuerdo entre los expertos por medio del cálculo de consistencia.
        IMPORTANTE: Brindar información sobre el uso que tendrán los resultados de la prueba,
        
        Existen varios métodos para la obtención de juicios de expertos
        
        Selección de manera individual: Método de agregados individuales y el método Delphi (se le envía a cada juez la mediana
        obtenida y se le pide que reconsidere su juicio hasta que se logre un consenso)
        
        Selección de manera grupal: Técnica nominal y Técnica de consenso, en ambas se requiere reunir a los
        expertos, pero en la última se exige mayor nivel de acuerdo.
        
        Otros métodos de selección:
        
        Emparejamiento de los ítems con el dominio: se entrega a los jueces una lista de objetivos (categorías) y se les presenta cada ítem en una ficha separada que deberán ser emparejados
        
        :check: :silhouettes: :memo: Guía para la realización
        
        1. Definir el objetivo del juicio de expertos: Establecer la finalidad del juicio
        Puede ser en función de:
        a.Establecer la equivalencia semántica de una prueba que se encuentra validada en otro idioma
        b. Evaluar la adaptación cultural
        c. Validar contenido en una prueba diseñada por un
        grupo de investigadores.
        
        7. Calcular la concordancia entre jueces
        Haciendo uso de estadísticos
        
        Coeficiente Kappa: Inicialmente el coeficiente se utilizaba únicamente en
        datos nominales, después se hizo una generalización para incluir datos ordinales.
        
        Genera una medida de acuerdo entre evaluadores y se utiliza
        cuando las variables están dadas en una escala nominal, es decir únicamente clasifican.
        
        Valores e interpretación
        El estadístico tiene un rango entre -1 y 1, pero generalmente se ubica entre 0 y 1.
        La interpretación es relativa al fenómeno medido (se tiene como referencia la complejidad de la
        evaluación y el número de categorías a evaluar)
        
        Ventajas y desventajas
        :check: Corrige el porcentaje de acuerdo debido al azar y es muy sencillo de calcular.
        :red_cross: Se ve afectado por el número de categorías y por la forma en la que están distribuidas las observaciones.
        
        Coeficiente w de Kendall: Basado en el grado de varianza de la suma de los rangos obtenidos de los diferentes jueces.
        
        Datos ordinales
        
        Se utiliza cuando se quiere conocer el
        grado de asociación entre k conjuntos de rangos.
        
        Útil cuando se les solicita a los expertos asignarle rangos a los ítems, por ejemplo de 1 a 4.
        
        Valores e interpretación
        Valor mínimo del coeficiente es 0 y el máximo 1, y su interpretación también es relativa al fenómeno medido
        
        Modelos actuales
        
        Modelos log-lineales: Analizan tanto la estructura del acuerdo como la del desacuerdo que se presentan en los datos, de manera que, se conocer el ajuste del modelo y se puede aplicar a datos ordinales
        
        Modelos mixtos (mezcla de distribuciones): Se incluyen
        variables latentes
        
        8. Elaboración de las conclusiones del juicio que serán utilizadas para la descripción psicométrica de la prueba.
        
        2. Selección de los jueces
        
        3. Explicitar tanto las dimensiones como los indicadores que está midiendo cada uno de los ítems de la prueba.
        Para evaluar adecuadamente la relevancia, la suficiencia y la pertinencia del ítem.
        
        4. Especificar el objetivo de la prueba
        Aumenta la contextualización del juez respecto a la prueba, incrementando a su vez el nivel de especificidad de la evaluación
        
        5. Establecer los pesos diferenciales de las dimensiones de la prueba.
        
        6. Diseño de planillas.
        Se debe diseñar de acuerdo con los objetivos de la evaluación o se puede usar una general con sus respectivos indicadores para la calificación.
        
        ¿Que cantidad de expertos es la adecuada?
        
        Varía entre autores
        
        Se sugiere un rango de 2 hasta 20 expertos.
        -Hyrkäs et al. (2003) manifiesta que con 10 jueces, la estimación seria confiable
        
        Ítem se mantiene si el 80% de los expertos está de acuerdo
      - Métodos propuestos para estimar la validez
        basado en jueces
        
        Método basado en el Análisis Factorial (Tucker, 1961)
        Análisis factorial de las puntuaciones otorgadas por los expertos en cuanto a la relevancia de los ítems.
        
        Permite obtener: 1. La interpretación de la adecuación muestral de los ítems (considera el test como una muestra representativa de la variable de interés)
        
        Detectar las diferencias de puntuaciones dadas en la evaluación
        
        Índice de Validez de Contenido
        (Lawshe, 1975)
        Consiste en en la evaluación individual de los ítems por un grupo de expertos, mediante la Razón de Validez de Contenido (RVC), se determina qué ítems del instrumento son adecuados y deben mantenerse.
        Luego, se calcula el Índice de Validez de Contenido para el instrumento en su conjunto, el cual no es más que un promedio de la validez de los ítems previamente analizados
        
        Índice de congruencia ítem-objetivo (Rovinelli y Hambleton, 1977)
        El juez debe valorar como +1 o -1 según el ítem mida o no el objetivo deseado
        
        Debe fijarse el grado de acuerdo mínimo esperado por el investigador para seleccionar los ítems adecuados
        
        Su formula implica: (N) el número de objetivos, la media de los jueces para el ítem j en el objetivo k y la media para el ítem j en todos los objetivos.
        
        Índice de congruencia (Hambleton, 1980, 1984)
        
        Aplicado en test referidos al criterio.
        Se compara el grado en que un ítem evalúa el constructo esperado en relación al resto de dimensiones que componen el instrumento.
        Variación del método: Se describe el ajuste de cada ítem respecto al instrumento total teniendo en cuenta las valoraciones de la totalidad de expertos.
        
        Escalamiento multidimensional
        y análisis de clusters (Sireci y Geisienger, 1992)
        
        Solución sobre el sesgo introducido cuando los expertos conocen las especificaciones del contenido
        Procedimiento
        Aquellos ítems similares serán agrupados conjuntamente formando un mismo cluster y se encontrarán, a su vez, muy próximos entre sí a la hora de realizar el escalamiento multidimensional, analizando la convergencia/divergencia de los constructos obtenidos.
        
        Método de Capacidades Mínimas (Levine, Maye, Ulm y Gordon, 1997)
        
        Aplicados a test referido a criterios
        
        Los expertos evalúan, por un lado, cada tarea en cuanto a la dificultad de alcanzar cada una de las capacidades mínimas y, por otra parte, el nivel de cada aspirante en relación a las tareas propuestas.
        
        Rango Interpercentil Ajustado a la Simetría (Fitch, et al., 2001)
        Tras la aplicación de una escala tipo Likert de cinco alternativas, se calcula la media obtenida en cada uno de los ítems y, en base a esta, se calcula el CVC para cada elemento.
        
        Interpretación
        
        Se recomienda mantener únicamente aquellos ítems con un CVC superior a 0.80
        
        Criterios menos estrictos establecen valores superiores a 0.70
        
        Índice de Validez Factorial (Rubio et al., 2003)
        Combina tres índices, ligando la validez de contenido a la validez de constructo para ofrecer una evidencia mucho más exhaustiva.
        Se propone calcular:
        
        Fiabilidad de Acuerdo Interjueces (IRA): Analiza representatividad y claridad del elemento.
        
        Indice de validez de Contenido (IVC)
        
        Índice de Validez Factorial (FVI) Aporta información acerca del grado en que los expertos asocian cada ítem con los constructos
        
        Índice Promediado de la Desviación Media
        En primer lugar, se calcula el IVC de cada ítem y, a continuación, se emplea el ADm para calcular el grado de acuerdo de los expertos independientemente de que estos hayan valorado el ítem positiva o negativamente.
    - - ¿A qué se refiere?
        Refiere a la idoneidad de las respuestas dadas por los participantes en relación al constructo que se pretende evaluar.
        
        Los ítems no son evaluados por un conjunto de expertos, sino que se aplican directamente a un conjunto de participantes para analizar, única y posteriormente, las respuestas dadas por estos.
      - Escalamiento multidimensional
      - Análisis de clusters
      - Análisis factorial
      - Teoría de la Generalizabilidad (TG)
        
        Se tienen en cuenta determinadas variables o facetas que constituyen posibles fuentes de error a la hora de analizar la validez
        
        Se calcula la puntuación media que el conjunto de participantes otorga a todos los ítems (determinar ajustes)
- - - - Su protagonismo ha incrementado desde las publicaciones «Recomendaciones técnicas para los tests psicológicos y técnicas diagnósticas» (APA, 1952) hasta los últimos «Estándares para el uso de tests psicológicos y educacionales» (AERA, APA y NCME, 1999)
        
        Guion (1977), realiza una definición operativa basada en cinco condiciones
        
        3 . El contenido del dominio debe ser relevante para los objetivos de medida
        
        El contenido debe ser revisado por jueces cualificados, que deben estar de acuerdo sobre si es adecuado.
        
        El contenido del dominio debe ser definido de forma clara y especifica (sin ambigüedad)
        
        El contenido de las respuestas debe ser observado y evaluado de forma fiable.
        
        El contenido del dominio debe tener sus raíces en la conducta, con un significado generalmente aceptado.
        
        En la actualidad, se considera condición necesaria (aunque no suficiente) para realizar interpretaciones de las puntuaciones en los tests
        
        :warning: IMPORTANTE
        No se refiere únicamente a los ítems del instrumento de medida, sino que también incluye las instrucciones para su administración y los criterios para su corrección y puntuación