Please enable JavaScript.
Coggle requires JavaScript to display documents.
Elaboración de ítems y escalas, CLAUDIA CARREÑO - Coggle Diagram
Elaboración de ítems y escalas
La planeación de las pruebas debe incluir conceptos claros de las variables o constructos que van a medirse, descripciones de las personas que van a ser examinadas, las condiciones bajo las cuales se administrara la prueba, e información concerniente a la calificación, interpretación de las puntuaciones finales y el uso que se dará a los resultados
Al planificar una prueba es necesario considerar cuestiones practicas como el costo, el tiempo disponible para la administración, la disposición de los reactivos y las condiciones de la prueba.
Planeación de un test
Para elaborar un test se requiere la consideración cuidadosa de sus propósitos específicos. Las pruebas realizan funciones diferentes y su proceso de elaboración varia dependiendo del propósito que se quiera lograr.
Pruebas de observación
La elaboración de una prueba de aptitud para observar a solicitantes de un trabajo comienza con un análisis detallado de las actividades que componen ese trabajo, especifican los componentes del trabajo de modo que se pueda predecir el desempeño del empleado.
Dichas especificaciones pueden incluir incidentes cruciales, conductas que son decisivas para el desempeño exitoso o fallido y otra información que describa las actividades de trabajo. La prueba final no medirá todos los aspectos del desempeño, sino que tratara solo de dar una muestra de los comportamientos mas importantes relacionados con el trabajo, esta debe ser representativa de todas las tareas a realizar
Pruebas de inteligencia
Se reune un conjunto de reactivos que miden algún aspecto del constructo "Inteligencia". Estos pueden ser elaborados de acuerdo con una teoría especifica de la conducta inteligente o haciendo referencia a los tipos de tareas que las personas mas inteligentes pueden hacer con mayor efectividad.
La selección de los reactivos en la prueba final puede hacerse con base en las relaciones de las respuestas dadas a los reactivos con criterios tales como la edad cronológica, así como las relaciones entre los reactivos de prueba.
Inventarios y escalas de personalidad
Al elaborarlas se han empleado varios enfoques, algunos basados en el sentido común y otros de acuerdo a teorías de la personalidad y otros mas en procedimientos estadísticos.
Muchos de los instrumentos de evaluación de la personalidad publicados recientemente han sido elaborados combinando enfoques racionales, empíricos o teóricos. Uno o mas de estos enfoques pueden emplearse en diferentes etapas del desarrollo del instrumento.
Pruebas de rendimiento
Se aplican mas pruebas de rendimiento que cualquier otro tipo de prueba combinados. Muchos profesores no dedican el tiempo necesario a estas pruebas, con mucha frecuencia consideran que los exámenes son desagradables adjunto a la enseñanza
Sin embargo, cuando se usan de manera efectiva, no solo se centran en la evaluación y motivación del estudiante. También brindan información a los maestros, al personal administrativo y a los padres, concerniente a la medida en que se han alcanzado los objetivos educativos específicos. Estos resultados contribuyen a la planeación educativa de un grupo o un sujeto individual.
Taxonomías de objetivos cognoscitivos
La elaboración de una prueba para medir objetivos instruccionales específicos es mas efectiva cuando las conductas a evaluar se definen al principio.
Taxonomías de objetos educativos
Ebel (1979)
Comprensión de la terminología (o vocabulario); comprensión del hecho y del principio (generalización); Habilidad para explicar o ilustrar (comprensión de relaciones); Habilidad para calcular (problemas numéricos); Habilidad para predecir; Habilidad para recomendar la acción apropiada; Habilidad para formar un juicio evaluativo
Gerlach y Sullivan (1967)
Identificación: consiste en identificar que miembro de un conjunto pertenece a una categoria en particular
Nominación: Debe proporcionarse la etiqueta verbal correcta de un referente o un grupo de referentes
Descripción: Consiste en reportar categorías relevantes de objetos, eventos, propiedades o relaciones.
Elaboración: Se crea un producto de acuerdo a ciertas especificaciones
Ordenamiento: requiere arreglar en un orden especifico dos o mas referentes
Demostración: Consiste en realizar acciones para cumplir una tarea especificada.
Educational testing service (1965)
Memoria, comprensión, pensamiento
Bloom y Krahtwohl (1956)
En orden de la mas simple a la mas compleja encontramos: Conocimiento, comprensión, aplicación, análisis, síntesis y evaluación.
Estas categorías son inclusivas, por ejemplo, tanto el conocimiento (categoría I) como la comprensión (categoría II) son necesarios para la aplicación (categoría III) y por ende están incluidas en la tercera categoría.
Tabla de especificadores: Debe ser razonablemente detallada en términos del conocimiento y las habilidades que se espera demuestren los examinados; Es importante no enfatizar en exceso un objetivo en particular.
Para planificar una prueba es útil construir una tabla de especificadores de dos vías. En dicha tabla, los objetivos conductuales que van a evaluarse se presentan en los encabezados de renglón y los objetivos de contenido (temáticos) como encabezados de columna.
Preparación de los reactivos del test (pregunta a contestar)
Una vez hecha la tabla de especificadores, esta servirá como guía para la elaboración de los reactivos del test
Tipos de clasificación de reactivos
Completamiento o llenado contra selección, recuerdo contra conocimiento y construcción de respuesta contra identificación: Son formas de diferenciar los reactivos en los que se les pide a los examinados escoger la respuesta correcta o que construyan una respuesta
Ensayo contra objetivo: Son de tipo de completamiento o llenado, donde la respuesta del examinado se construye en lugar de ser meramente identificada.
Reactivos de ensayo
Su ventaja es que pueden medir la habilidad personal para organizar, relacionar y comunicar, conductas que no son fáciles de evaluar con los reactivos objetivos. Requieren menos tiempo para su elaboracion y es menos probable que el examinado conteste por adivinacion
Como regla, no deben usarse reactivos de ensayo cuando el conocimiento pueda evaluarse con reactivos objetivos. Si se plantean preguntas de ensayo deben hacerse lo mas objetivas posible
Reactivos de respuesta corta, de verdadero y falso y de emparejamiento
De respuesta corta: Hay uno o mas espacios en blanco para que el examinado complete o de respuesta breve a una pregunta. Algunas directrices a seguir son:
En las afirmaciones de opinión, citar la fuente
Evitar determinantes específicos
Plantear los reactivos de forma que las respuestas sean breves y no ambiguas
Reactivos de emparejamiento: Reactivos de verdadero y falso y de opción múltiple. Tienen múltiples premisas y múltiples opciones de respuesta.
Son mas sencillos de elaborar aunque solo miden la memorización de acontecimientos. Y la necesidad de hacer las opciones homogéneas limita el tipo de material que puede adaptarse a un marco de emparejamiento.
Elaboración de reactivos complejos: opciones como: todas las anteriores, ninguna de las anteriores, dos de las anteriores y todas salvo una de las anteriores, pueden tornar mas difícil la decisión del examinado.
Uso de computadoras en la elaboración de pruebas.
Consiste en programas de procesamiento de textos para ayudar en la mecanografía de los reactivos, la formación, la revisión de errores de ortografía y de sintaxis, etc. También brindan programas de gráficos que apoyan las pruebas compuestas por ilustraciones
Formación y reproducción de un test
Una vez se han reparado los reactivos para una prueba, es aconsejable hacer que los revisen y editen personas conocedoras. Antes de formar una prueba se deben tener en cuenta los siguientes asuntos
¿Es la longitud de la prueba apropiada para los limites de tiempo? ¿Cómo deberán agruparse u ordenarse los reactivos en las paginas del cuadernillo de la prueba?¿Deben marcarse las respuestas en el cuadernillo de la prueba o se utilizara una hoja especial como respuesta?¿Como se reproducirán el cuadernillo de la prueba y la hoja de respuesta?¿Que información debe incluirse en las instrucciones de la prueba?
Extensión de la prueba
La decisión de cuantos reactivos incluir en una prueba depende de los limites de tiempo, del grado y nivel de lectura de los examinados, y de la extensión y dificultad de los reactivos.
Ordenamiento de los reactivos: Es aconsejable ordenar los reactivos de opción múltiple y los verdadero y falso de forma que las respuestas no sigan un patrón.
Cuando se colocan opciones como: todas las anteriores y ninguna de las anteriores, estas deben colocarse en la ultima opción
Hojas de respuesta: En los primeros grados es aconsejable que marquen las respuestas en el cuadernillo de prueba
Las hojas de respuestas por separado, que son mas fáciles de calificar, pueden usarse a partir de los últimos años de la escuela elemental.
Pruebas orales: Las preguntas pueden presentarse de manera oral o escrita, o de ambas formas
Una de las ventajas que brindan es la situación social interactiva que proporcionan, lo que permite evaluar cualidades personales como apariencia, estilo y manera de hablar
Otra ventaja es que con frecuencia requieren respuestas a un nivel intelectual mas alto que las escritas, y proporcionan practica en comunicación oral e interacción social.
Pruebas orales Vs pruebas escritas
Las pruebas orales son mas apropiadas cuando las preguntas requieren de respuestas extensas.
El conocimiento de hechos específicos puede ser determinado con mayor rapidez por las pruebas objetivas escritas, por eso los exámenes orales no deben contener grandes cantidades de esos tipos de preguntas.
Pruebas de desempeño
También conocidas como evaluación autentica dado que son mas realistas que las verbales.
Estas no se limitan a describir como hacer algo o que se hizo, sino que requieren que los examinados muestren un proceso. Dichas habilidades se emplean de manera extensa para evaluar habilidades aprendidas y en el campo
Listas de verificación: Consiste en una lista de palabras, frases o afirmaciones descriptivas de una persona o de un objeto o acontecimiento. Se usan con gran frecuencia en los exámenes clínicos, educativo e industria-organizacional
Se pide a los examinados que marquen, subrayen o indiquen de alguna otra manera, palabra(s) o frase(s) los describe (auto verificación) o describe a alguien o algo mas.
Ejemplos: lista de verificación del formato 16.1 es un instrumento no estandarizado, diseñado para medir la conducta tipo A; Escala de calificación de readaptación social (Holmes y Rahe, 1967) y la lista de verificación conductual para la ansiedad en el desempeño (Paul, 1966)
Rara vez son validadas de manera adecuada, es incierto si la lista de verificación esta cumpliendo los propósitos para los que se creo.
No se califica como una totalidad, sino que las respuestas a los reactivos individuales son examinadas, dentro y entre las personas que responden.
Se da una calificación de +1 si la marca del reactivo indica una respuesta favorable, y una calificación de cero si la marca indica una respuesta desfavorable.
Confiabilidad y validez
Las calificaciones (0 y 1) a los reactivos individuales en una lista de verificación tienen menor confiabilidad que la suma de calificaciones de varios reactivos.
Un enfoque para determinar la confiabilidad es el metodo de acuerdo a concordancia entre verificadores, este consiste en calcular una sola calificacion de acuerdo (phi) a partir de la concordancia de las configuraciones de marcas de verificacion de dos o mas verificadores (Sinacore, Conell, Olthoff, Friedman y Gecht, 1999)
Con respecto a la validez, los resultados de la investigación indican que las calificaciones de las listas de verificación tienen correlaciones significativas con una amplia gama de criterios de desempeño.
Tipos y ejemplos de listas de verificación
Listas de verificación de adjetivos: Consta de 300 adjetivos arreglados de manera alfabética desde distraído hasta bromista. A los examinados les lleva de 15 a 20 minutos marcar los adjetivos que consideran los describen. Esas respuestas pueden calificarse después en la 37 escalas descritas en el manual de la ACL.
Lista de verificación múltiple de adjetivos de afecto, revisada: Consta de 132 adjetivos y se encuentran disponible para aplicarse de dos formas: rasgo ("como se sienten en general") y estado ("Hoy, como se sienten el día de la prueba")
Lista de verificación de adjetivos para la depresión Estado-Rasgo (ST-DACL): Constan de 32 a 34 adjetivos, los cuales fueron diseñados para medir sentimientos de disforia, tristeza y angustia psicológica.
Listas de verificación de problemas: Lista Mooney de verificación de problemas, otra lista conocida es la lista de verificación de problemas (CBLC), ambas son un instrumento que proporcionan una perspectiva bastante incluyente del funcionamiento social, conductual y emocional.
Lista de verificación de la conducta infantil
Formato de informe de maestros
Lista de verificación de problemas de conducta, revisada (RBCP)
Listas de verificación de síntomas: Tienen una orientación clínica, consta de 120 reactivos del tipo incluido en un examen integral del estado mental de un adulto.
Escalas de calificación: Introducidas por Francis Galton; Son populares en los contextos clínico, escolar, laboral, deportivo y entretenimiento.
Para elaborar una escala de calificación se debe designar o definir los objetos a ser evaluados, los atributos o características de los objetos a ser calificados, y las categorías (anclas) o el continuo sobre el que se harán las calificaciones.
Tipos de escalas de calificación
Escala numérica: Se asigna a una persona, objeto o acontecimiento, uno de varios números correspondientes a las descripciones particulares de las características calificadas. Se requiere que las calificaciones se den en una escala ordenada en la cual se asignan diferentes valores numéricos a diferentes localizaciones.
Escalas unipolares y bipolares: En una escala unipolar el atributo a calificar (ej: agresividad) es visto como unidimensional y por ende se considera que se incrementa de un mínimo a una cantidad máxima.
En una escala bipolar se considera que el atributo calificado varia en las direcciones (ej. sumiso-agresivo); En consecuencia la mitad de la escala se presenta como cero y los dos extremos (polos) son los enteros máximos negativo y positivo.
Diferencial semántico: La persona califica una serie de conceptos en varias escalas de adjetivos bipolares de siete puntos, miden que conceptos para madre, padre, amor, entre otros; tienen diferentes personas
Escala de calificación grafica: El calificador escribe una x o coloca otra marca en cada una de una serie de líneas, que contienen palabras o frases descriptivas correspondientes a cierta característica o rasgo.
Escala de analogía visual: Es una técnica empleada para estimar la intensidad de dichas experiencias (dolor, ansiedad, anhelo de una sustancia y situaciones similares)
Escala de calificación estándar: El calificador proporciona o se le proporciona un conjunto de estandares para evaluar a las personas que se califican (los calificados).
Ejemplo: Escala persona a persona, la cual se elabora para calificar a individuos en un rasgo especificado, como la capacidad de liderazgo.
Escalas con respaldo conductual: Desarrolladas por Smith y Kendall, representan un intento por lograr que la terminología de las escalas de calificación sea mas descriptiva de la conducta real y, por ende, mas objetiva.
Escala de elección forzada: Se presentan al calificador dos o mas descripciones y se le pide indicar cual caracteriza mejor a la persona calificada . Si hay tres o mas opciones se le pide que elija la menos descriptiva
Calificaciones
Las calificaciones Q son escalas de calificación modificadas en las cuales el individuo clasifica un conjunto de 100 tarjetas que contienen descripciones de personalidad en nueve pilas para formar una distribución normal de las afirmaciones entre las pilas
La prueba de repertorio de construcción de papeles (prueba REP) fue diseñada por George Kelly para identificar el sistema de constructos personales de una persona a fin de determinar que aspectos de la gente son enfatizados en el constructo y que personas son mas similares o diferentes de quien responde
Se emplean tres estrategias al elaborar escalas de calificación: racional-teórica, consistencia-interna y la de grupos-criterio
Cuando las escalas de calificación se elaboran con cuidado, se hacen tan objetivas como sea posible y se capacita a los calificadores de manera concienzuda, pueden obtenerse componentes de confiabilidad del orden de 80 o incluso 90. Promediar las calificaciones de varios calificadores también mejora la confiabilidad
El proceso de elaboración de una prueba ocurre en cinco etapas.
1.Conceptualizacion de la prueba
2.Construccion de la prueba
Ensayo de la prueba
4.Análisis de reactivos
5.Revisión de la prueba
Ensayo de la prueba
La prueba debe ensayarse con personas similares en aspectos críticos a las personas para las que esta diseñada. Entre mas sujetos cuente el ensayo, mejor
Un riesgo definitivo al usar pocos sujetos durante el ensayo surge cuando durante el análisis factorial de los resultados, pueden surgir los "factores fantasmas", factores inexistentes que en realidad son consecuencia del tamaño pequeño de la muestra.
El ensayo debe llevarse a cabo bajo condiciones que sean lo mas similares posibles a las condiciones bajo las cuales se aplicara la prueba estandarizada, por ejemplo: el tiempo y la atmosfera en el sitio de la prueba
CLAUDIA CARREÑO