La evaluación de programas de orientación

Definición

Proceso de aplicación de procedimientos científicos

Analizar

Interpretar

Recoger

Información válida y fiable que conduzca a la evaluación de dichos procesos y se oriente a la toma de decisiones.

Finalidad

Emitir un juicio sobre la bondad de un programa para ayudar a una toma de decisión y servir a una función política.

Dirigida a recoger datos que ayudarán a la toma de decisión sobre los programas de Orientación.

Identificar la finalidad de la ayuda dada para poder señalas las mejoras necesarias.

Emitir un juicio sobre el valor y la utilidad de un programa.

Asistir a quienes toman las decisiones sobre la implantación, ampliación o suspensión del programa.

Contribuir a la mejora de los programas.

Características

Siempre deberán interpretarse de un modo muy abierto para evitar soluciones y resultados restrictivos.

Es necesaria si de desea mejora los programas de intervención.

En ella se examinan las verdaderas necesidades de los estudiantes y cuáles son aquellas que a largo de la intervención no han satisfecho.

Se usa para tomar decisiones sobre la estructura del programa, desde si se cumplieron los objetivos propuestos hasta si los orientadores están desempeñando realmente las funciones que se les atribuyeron.

Los datos resultantes indicaran cómo modificar y optimizar la labor del programa orientador, diseñando de nuevo las responsabilidades de todos los actores y midiendo los éxitos y los fracasos de las intervenciones.

La evaluación se organiza en función de la toma de decisiones, por lo que la información que se busque ha de ser útil para ello.

La evaluación es un proceso cíclico y continuo, y debe ser puesta en marcha mediante una programa sistemática.

El proceso de evaluación incluye tres pasos que son su base metodológica

Obtención de datos

Ofrecimiento de los datos

Diseño

Diseñar y proveer de datos son actividades complementarias y requieren la colaboración mutua entre evaluador y persona que decide.

De carácter procesual, que lo abarca todo

Antes

Durante

Después

De la intervención

Su sistematización no puede ser improvisada, pues requiere de una planificación previa, donde no se debe olvidar ningún elemento.

Tipología

Por criterios externos

Por seguimiento

Según la opinión del cliente

La opinión de los expertos y especialista

El programa se evalúa en términos de su práctica global.

Se acepta un programa siempre y cuando contenga prácticas adecuadas.

Los orientados son evaluados a través de varios criterios una vez que han abandonado sus estudios.

Un buen programa tendrá resultados beneficiosos sobre el estudiante en lo que se respecta a su éxito, su satisfacción, su adaptación, etc.

Se le pregunta a los estudiantes que evalúen los servicios que han recibido del programa de orientación.

Se admite que la orientación eficaz quedará reflejada en la satisfacción del cliente por la orientación recibida.

Evalúan el programa en términos de un examen de las facilidades del programa.

Sistema de las técnicas específicas

Se asume que el programa puede ser mejor evaluado su la investigación de su eficacia se centra en las prácticas y los resultados.

Cambios dentro del grupo

Procediendo a la investigación clásica de comparación con un grupo control y otro que ha sido intervenido.

Aspectos del modelo sistemático

Necesidades

Los diferentes estadios de desarrollo por los que pasan los orientados determinan sus necesidades en los distintos niveles evolutivos y, por lo tanto, las metas de orientación.

Objetivos

Que surgen de la necesidad del orientado, deben estar planteados en términos globalizadores y de conducta.

Proceso

Referencia a las actividades concretas puestas en funcionamiento para alcanzar los objetivos.

Variables referidas al orientado

Determinar los efectos diferenciales del proceso obre los grupos orientados a causa de su sexo, nivel socioeconómico, cultural, aptitudes, intereses, etc.

Variable referidas a la situación concreta

Los procesos orientadores pueden tener diferentes efectos si se organizan sobre diferentes situaciones.

Variables referidas al producto

Definida por los objetivos conductuales específicos, que presentan, en la mayoría de los casos, metas a corto, medio y largo plazo.

Retroalimentación

Evaluación continua que permita la reestructuración o redefinición de las actividades orientadas a medida que se estima su impropiedad e ineficacia.

Principios básicos fundamentales

Antes de la evaluación

Reconocer las metas y objetivos del programa de orientación.

Establecer criterios válidos de medida, concretos y no vagos o ambiguamente constituidos.

Verificar su los criterios se han aplicado válidamente ya sea por profesionales competentes en técnicas de medida y evaluación o que conozcan a fondo los problemas escolares de orientación.

La evaluación debe comprometer a todas las personas que se consideran participes del programa.

Orientadores, directivos, comunidad, etc.

Requiere seguimiento y proceso de retroalimentación.

Es más efectiva si se planifica dentro de un proceso continuo, con planes específicos y con responsabilidades asignadas y asumidas.

La evaluación debe centrarse y dar importancia a lo positivo.

Los objetivos deben de estar claramente definidos.

Todo el mundo debe estar de acuerdo en qué se espera y qué no se espera de la orientación.

Con al definición de los objetivos, seleccionar criterios válidos de medida de la consecución de esos objetivos.

Dichos criterios pueden ser ordenados por su importancia.

Los informes finales de las evaluaciones deben estar al alcance de todos los actores de la orientación.

Se deben de acentuar tanto los puntos positivos como los negativos, sugiriendo cambios en el mismo proceso evaluador (metaevaluación).

Funciones

Desde el punto de vista externo

Desde el punto de vista interno

Arrojar datos que expliquen los efectos globales del programa, es decir, proporcionar una evaluación sumativa.

Con el estudio reflexivo de los resultados, planificar y decidir nuevas políticas de intervención que faciliten la innovación, la diseminación y la información a los usuarios.

Auxiliar en la toma de decisiones sobre disponibilidad de recursos y racionalización de medios.

Poner sobre el tapete el análisis de los costos para de ahí deducir la rentabilidad económica del programa.

Conseguir datos empíricos e información sobre las características del programa.

Comprobar si el programa logra cumplir sus objetivos para variarlos o no.

Proveer de información rigurosa sobre la marcha del programa y sobre la necesidad de readaptaciones.

Analizar comprensivamente el programa para ver si es efectivo, qué posibilidades y limitaciones tiene y cómo reaccionar ante determinadas situaciones.

Modelo sugeridos

Años veinte hasta los cuarenta

Rige el concepto de evaluación del rendimiento escolar.

Años cuarenta a setenta

Predomina la evaluación como investigación empírica positivista que usa técnicas estandarizadas para recoger y analizar los datos.

A partir de los setenta

Se introduce el paradigma cualitativo, y por tanto, se implica a los participantes en las investigaciones en la evaluación de sus actuaciones.

Actualidad

Diferentes modelos

Modelos objetivistas

Modelos subjetivistas

Modelo crítico

Evaluación basada en objetivos de R. W. Tyler.

La planificación evaluativa de L. J Cronbach.

Modelo CIPP de D. Stufflebeam.

Evaluación respondiente de R. E. Stake.

Evaluación iluminativa de M. Parlett y D. Hamilton.

Evaluación democrática de B. McDonald

Proceso de recogida de información que fomenta la reflexión crítica de los procesos y conduce a la toma de decisiones pertinentes en cada situación específica.

Evidencia del alcance de los objetivos

Valoraciones

Juicios

De la ejecución de los alumnos por parte de los profesores, padres, orientadores.

De personas expertas sobre el alcance de los objetivos.

Estudios de seguimiento

De los estudiantes o clientes después se haber sido expuestos a un programa de orientación.

Escalas de actitud

Del estudiante o del cliente acerca de ellos mismos o de las actividades de exploración del mundo laboral o profesional.

Fichas

Explicitas de las reacciones de la plantilla escolar ante los cambios de conducta del alumno a lo largo de la aplicación del programa.

Opiniones

Del orientado de cómo su conducta ha sido modificado o mejorado como resultado de su aplicación del programa.

Cambios

En la conducta social, escolar, etc., y otros índices relacionados con los objetivos de la orientación.

Puntuaciones

De test estandarizados de orientación vocacionales.

Sistemática evaluadora

Identificar claramente las metas y definir los objetivos.

Escoger los criterios evaluadores.

Establecer niveles de ejecución o estándares.

Especificar los elementos del programa y sus límites.

Diseñar el tipo de evaluación que se usará, quién está comprometido en ella, cuál será el muestreo y cuál el calendario de evaluación.

Recogida de datos.

Análisis de datos.

Interpretación de los datos.

Informes y datos inteligibles para los interesados.

El orientador

Destrezas investigadoras

Leer investigaciones que estimulen su actitud heurística.

Saber relacionar teoría y práctica para inducir nuevas vías de trabajo.

Conocer las teorías que se han constituido y que han sido probadas.

Operativizar los constructos de la investigación para plantear hipótesis.

Relacionar éstas y sus tesis para controlar las variables.

Conocer los modos de fiabilización y validación de las hipótesis.

Saber escoger el tipo de diseños experimentales adecuados a cada caso.

Saber cómo desenvolverse en los proceso previos de muestreo, recogida de datos, distribución de los grupos experimentales, de control, etc.

Saber temporalizar las mediciones.

Definir las variables sin ambigüedad.

Analizar estadísticamente los datos cuantitativos.

Conocer las estrategias o metodologías de la investigación cualitativa.

Distinguir claramente entre los diferentes tipos de investigación (descriptiva, de campo, de laboratorio, correlacional, comparativa, casual, experimental, histórica, entre otros).

Deberá decantarse por la metodología investigadora cualitativa o la cuantitativa, o, en su caso, por una solución mixta (estudio de casos).

Acciones decisivas

Legitimar la investigación como un rol apropiado, necesario e imprescindible dentro de las funciones.

Contemplar un buen aprendizaje en tareas de investigación en los programas de formación de orientadores.

Los prácticos, además de realizar tareas de investigación sobre sus intervenciones, deben preocuparse en la diseminación y comunicación de sus resultados a través de la publicación de sus trabajos en seminarios, congresos, etc., con el oportuno apoyo de la Administración.

La investigación constituye un magnífico estímulo para que se establezca una autoconfianza en el valor, la eficacia y al eficiencia de su trabajo.

El programa le permite:

Recibir información permanente sobre la efectividad que está teniendo el programa.

Poder detectar las necesidades de grupo o individuales no atendidas por el programa.

Seleccionar las técnicas de orientación más apropiadas.

Justificar por qué se hacen o no se hacen ciertas actividades en el programa.

Poder razonar el requerimiento de recursos materiales y humanos necesarios.

Presupuestos básicos

Concebimos la figura profesional del orientador desarrollando su trabajo en un centro educativo a tiempo completo.

Interés centrada en el programa de orientación.

El evaluador del programa va a ser el propio orientador.

La evaluación es a menudo vista por los orientadores como una función más propia del investigador que del práctico.

La finalidad de la evaluación es obtener información para la toma de decisiones, pero no para saber si un orientador es bueno o malo.

Necesidad

Comprobar la satisfacción de la orientación a las necesidades.

Para el continuo mejoramiento del programa.

Decisiones basadas en la intuición, sesgos, rumores, corazonadas; difíciles de justificar.

Los resultados ayudarán a la comunidad educativa a estar mejor informados de la toma de decisiones.

Los fracasos escolares.

Los derechos estudiantiles.

Las desigualdades en educación todavía existen.

Ventajas

Recibir un constante feedback sobre el grado de efectividad del programa de orientación.

Poder identificar a estudiantes cuyas necesidades no están siendo satisfechas.

Elegir y utilizar las técnicas de orientación sobre la base de la efectividad.

Poder justificar la eliminación de actividades de orientación inútiles.

Disponer de una evidencia para requerir un incremento de servicios personales y materiales para satisfacer los objetivos del programa.

Problemas y dificultades

De tipo general

Cuándo hacer evaluación.

Apoyo y colación del profesorado.

Interpretar resultados entendibles para la comunidad.

Problemas relacionados con los objetivos, criterios y metas del programa.

Problemas relacionados con la dificultad de encontrar grupos de control apropiados.

Problemas relacionados con el muestreo

Proceso de evaluación

Análisis de las necesidades

Determinar de quién necesitamos recoger datos y con qué finalidad.

Establecimiento de metas y objetivos

Determinar cuáles de las necesidades se pueden atender y establecer sus metas y objetivos.

Diseño del programa

Una vez establecida las metras y objetivos del programa, planificar las actividades que permitirá conseguir los resultados deseados.

Modificación y mejora del programa

Identificar los cambios o ajustes que necesitamos hacer en los objetivos y actividades.

Se puede aplicar el modelo de evaluación de programas de formación de Kirkpatrick aplicado a un programa de desarrollo vocacional.

Se recogen cuatro tipos de datos:

De reacción

Sobre actitudes, sentimientos, imprensiones.

Se recogen inmediatamente después de un programa.

Se recogen por medio de entrevistas y/o cuestionarios.

Aprendizaje

Adquisición de conceptos, principios, hechos, técnicas.

Se recogen inmediatamente después de un programa.

A través de cuestionarios pre-post-programa, simulaciones, entrevistas.

Conducta

Cambios demostrados en conductas y acciones.

De tres a seis mese después de un programa.

A través de cuestionarios pre-post-programa a empleados y supervisores, entrevistas.

Resultados

Reducción de volumen de negocio, absentismo, incremento en productividad, ahorros en costos, ganancias.

De seis meses a un año después de un programa.

Informes y datos actuales, análisis de ahorros/costo-beneficio.

Informe y utilización de lo resultados de la evaluación

Proporciona datos objetivos sobre los que basar nuestras decisiones, comprobar si los procedimientos de evaluación fueron apropiados o no y, por último, ver su el programa satisface a los alumnos.

Referencias
Sanz, R. (1998). Evaluación de programas en orientación educativa y tutoría. Madrid: Ediciones Pirámide.
Rodríguez, M. (1995). Orientación e intervención psicopedagógica. España: CEAC.
Méndez, J. y Monescillo, M. (2002). Estrategias para la evaluación de programas de orientación. Revista de Educación (4), pp. 181-201. Recuperado de http://rabida.uhu.es/dspace/bitstream/handle/10272/1920/b15150495.pdf?seq
Manzano, N. (2000). Indicadores para evaluar programas de orientación educativa. REOP, 11 (19), PP. 51-75. Recuperado de http://revistas.uned.es/index.php/reop/article/view/11324

Elaborado por: Br. Yeni Alejandra Tec Kuyoc