Please enable JavaScript.
Coggle requires JavaScript to display documents.
La evaluación de programas de orientación, Referencias Sanz, R. (1998).…
La evaluación de programas de orientación
Definición
Proceso de aplicación de procedimientos científicos
Analizar
Interpretar
Recoger
Información válida y fiable que conduzca a la evaluación de dichos procesos y se oriente a la toma de decisiones.
Finalidad
Emitir un juicio sobre la bondad de un programa para ayudar a una toma de decisión y servir a una función política.
Dirigida a recoger datos que ayudarán a la toma de decisión sobre los programas de Orientación.
Identificar la finalidad de la ayuda dada para poder señalas las mejoras necesarias.
Emitir un juicio sobre el valor y la utilidad de un programa.
Asistir a quienes toman las decisiones sobre la implantación, ampliación o suspensión del programa.
Contribuir a la mejora de los programas.
Se usa para tomar decisiones sobre la estructura del programa, desde si se cumplieron los objetivos propuestos hasta si los orientadores están desempeñando realmente las funciones que se les atribuyeron.
Características
Siempre deberán interpretarse de un modo muy abierto para evitar soluciones y resultados restrictivos.
Es necesaria si de desea mejora los programas de intervención.
En ella se examinan las verdaderas necesidades de los estudiantes y cuáles son aquellas que a largo de la intervención no han satisfecho.
Los datos resultantes indicaran cómo modificar y optimizar la labor del programa orientador, diseñando de nuevo las responsabilidades de todos los actores y midiendo los éxitos y los fracasos de las intervenciones.
La evaluación se organiza en función de la toma de decisiones, por lo que la información que se busque ha de ser útil para ello.
La evaluación es un proceso cíclico y continuo, y debe ser puesta en marcha mediante una programa sistemática.
El proceso de evaluación incluye tres pasos que son su base metodológica
Obtención de datos
Diseñar y proveer de datos son actividades complementarias y requieren la colaboración mutua entre evaluador y persona que decide.
Ofrecimiento de los datos
Diseño
De carácter procesual, que lo abarca todo
Antes
Durante
De la intervención
Después
Su sistematización no puede ser improvisada, pues requiere de una planificación previa, donde no se debe olvidar ningún elemento.
Tipología
Por criterios externos
El programa se evalúa en términos de su práctica global.
Se acepta un programa siempre y cuando contenga prácticas adecuadas.
Por seguimiento
Los orientados son evaluados a través de varios criterios una vez que han abandonado sus estudios.
Un buen programa tendrá resultados beneficiosos sobre el estudiante en lo que se respecta a su éxito, su satisfacción, su adaptación, etc.
Según la opinión del cliente
Se le pregunta a los estudiantes que evalúen los servicios que han recibido del programa de orientación.
Se admite que la orientación eficaz quedará reflejada en la satisfacción del cliente por la orientación recibida.
La opinión de los expertos y especialista
Evalúan el programa en términos de un examen de las facilidades del programa.
Sistema de las técnicas específicas
Se asume que el programa puede ser mejor evaluado su la investigación de su eficacia se centra en las prácticas y los resultados.
Cambios dentro del grupo
Procediendo a la investigación clásica de comparación con un grupo control y otro que ha sido intervenido.
Aspectos del modelo sistemático
Necesidades
Los diferentes estadios de desarrollo por los que pasan los orientados determinan sus necesidades en los distintos niveles evolutivos y, por lo tanto, las metas de orientación.
Objetivos
Que surgen de la necesidad del orientado, deben estar planteados en términos globalizadores y de conducta.
Proceso
Referencia a las actividades concretas puestas en funcionamiento para alcanzar los objetivos.
Variables referidas al orientado
Determinar los efectos diferenciales del proceso obre los grupos orientados a causa de su sexo, nivel socioeconómico, cultural, aptitudes, intereses, etc.
Variable referidas a la situación concreta
Los procesos orientadores pueden tener diferentes efectos si se organizan sobre diferentes situaciones.
Variables referidas al producto
Definida por los objetivos conductuales específicos, que presentan, en la mayoría de los casos, metas a corto, medio y largo plazo.
Retroalimentación
Evaluación continua que permita la reestructuración o redefinición de las actividades orientadas a medida que se estima su impropiedad e ineficacia.
Principios básicos fundamentales
Los objetivos deben de estar claramente definidos.
Todo el mundo debe estar de acuerdo en qué se espera y qué no se espera de la orientación.
Con al definición de los objetivos, seleccionar criterios válidos de medida de la consecución de esos objetivos.
Dichos criterios pueden ser ordenados por su importancia.
Los informes finales de las evaluaciones deben estar al alcance de todos los actores de la orientación.
Se deben de acentuar tanto los puntos positivos como los negativos, sugiriendo cambios en el mismo proceso evaluador (metaevaluación).
Antes de la evaluación
Reconocer las metas y objetivos del programa de orientación.
Establecer criterios válidos de medida, concretos y no vagos o ambiguamente constituidos.
Verificar su los criterios se han aplicado válidamente ya sea por profesionales competentes en técnicas de medida y evaluación o que conozcan a fondo los problemas escolares de orientación.
La evaluación debe comprometer a todas las personas que se consideran participes del programa.
Orientadores, directivos, comunidad, etc.
Requiere seguimiento y proceso de retroalimentación.
Es más efectiva si se planifica dentro de un proceso continuo, con planes específicos y con responsabilidades asignadas y asumidas.
La evaluación debe centrarse y dar importancia a lo positivo.
Funciones
Desde el punto de vista externo
Arrojar datos que expliquen los efectos globales del programa, es decir, proporcionar una evaluación sumativa.
Con el estudio reflexivo de los resultados, planificar y decidir nuevas políticas de intervención que faciliten la innovación, la diseminación y la información a los usuarios.
Auxiliar en la toma de decisiones sobre disponibilidad de recursos y racionalización de medios.
Poner sobre el tapete el análisis de los costos para de ahí deducir la rentabilidad económica del programa.
Conseguir datos empíricos e información sobre las características del programa.
Desde el punto de vista interno
Comprobar si el programa logra cumplir sus objetivos para variarlos o no.
Proveer de información rigurosa sobre la marcha del programa y sobre la necesidad de readaptaciones.
Analizar comprensivamente el programa para ver si es efectivo, qué posibilidades y limitaciones tiene y cómo reaccionar ante determinadas situaciones.
Modelo sugeridos
Años veinte hasta los cuarenta
Rige el concepto de evaluación del rendimiento escolar.
Años cuarenta a setenta
Predomina la evaluación como investigación empírica positivista que usa técnicas estandarizadas para recoger y analizar los datos.
A partir de los setenta
Se introduce el paradigma cualitativo, y por tanto, se implica a los participantes en las investigaciones en la evaluación de sus actuaciones.
Actualidad
Diferentes modelos
Modelos objetivistas
Evaluación basada en objetivos de R. W. Tyler.
La planificación evaluativa de L. J Cronbach.
Modelo CIPP de D. Stufflebeam.
Modelos subjetivistas
Evaluación respondiente de R. E. Stake.
Evaluación iluminativa de M. Parlett y D. Hamilton.
Evaluación democrática de B. McDonald
Modelo crítico
Proceso de recogida de información que fomenta la reflexión crítica de los procesos y conduce a la toma de decisiones pertinentes en cada situación específica.
Evidencia del alcance de los objetivos
Valoraciones
De la ejecución de los alumnos por parte de los profesores, padres, orientadores.
Juicios
De personas expertas sobre el alcance de los objetivos.
Estudios de seguimiento
De los estudiantes o clientes después se haber sido expuestos a un programa de orientación.
Escalas de actitud
Del estudiante o del cliente acerca de ellos mismos o de las actividades de exploración del mundo laboral o profesional.
Fichas
Explicitas de las reacciones de la plantilla escolar ante los cambios de conducta del alumno a lo largo de la aplicación del programa.
Opiniones
Del orientado de cómo su conducta ha sido modificado o mejorado como resultado de su aplicación del programa.
Cambios
En la conducta social, escolar, etc., y otros índices relacionados con los objetivos de la orientación.
Puntuaciones
De test estandarizados de orientación vocacionales.
Sistemática evaluadora
Identificar claramente las metas y definir los objetivos.
Escoger los criterios evaluadores.
Establecer niveles de ejecución o estándares.
Especificar los elementos del programa y sus límites.
Diseñar el tipo de evaluación que se usará, quién está comprometido en ella, cuál será el muestreo y cuál el calendario de evaluación.
Recogida de datos.
Análisis de datos.
Interpretación de los datos.
Informes y datos inteligibles para los interesados.
El orientador
Destrezas investigadoras
Leer investigaciones que estimulen su actitud heurística.
Saber relacionar teoría y práctica para inducir nuevas vías de trabajo.
Conocer las teorías que se han constituido y que han sido probadas.
Operativizar los constructos de la investigación para plantear hipótesis.
Relacionar éstas y sus tesis para controlar las variables.
Conocer los modos de fiabilización y validación de las hipótesis.
Saber escoger el tipo de diseños experimentales adecuados a cada caso.
Saber cómo desenvolverse en los proceso previos de muestreo, recogida de datos, distribución de los grupos experimentales, de control, etc.
Saber temporalizar las mediciones.
Definir las variables sin ambigüedad.
Analizar estadísticamente los datos cuantitativos.
Conocer las estrategias o metodologías de la investigación cualitativa.
Distinguir claramente entre los diferentes tipos de investigación (descriptiva, de campo, de laboratorio, correlacional, comparativa, casual, experimental, histórica, entre otros).
Deberá decantarse por la metodología investigadora cualitativa o la cuantitativa, o, en su caso, por una solución mixta (estudio de casos).
Acciones decisivas
Legitimar la investigación como un rol apropiado, necesario e imprescindible dentro de las funciones.
Contemplar un buen aprendizaje en tareas de investigación en los programas de formación de orientadores.
Los prácticos, además de realizar tareas de investigación sobre sus intervenciones, deben preocuparse en la diseminación y comunicación de sus resultados a través de la publicación de sus trabajos en seminarios, congresos, etc., con el oportuno apoyo de la Administración.
La investigación constituye un magnífico estímulo para que se establezca una autoconfianza en el valor, la eficacia y al eficiencia de su trabajo.
El programa le permite:
Recibir información permanente sobre la efectividad que está teniendo el programa.
Poder detectar las necesidades de grupo o individuales no atendidas por el programa.
Seleccionar las técnicas de orientación más apropiadas.
Justificar por qué se hacen o no se hacen ciertas actividades en el programa.
Poder razonar el requerimiento de recursos materiales y humanos necesarios.
Presupuestos básicos
Concebimos la figura profesional del orientador desarrollando su trabajo en un centro educativo a tiempo completo.
Interés centrada en el programa de orientación.
El evaluador del programa va a ser el propio orientador.
La evaluación es a menudo vista por los orientadores como una función más propia del investigador que del práctico.
La finalidad de la evaluación es obtener información para la toma de decisiones, pero no para saber si un orientador es bueno o malo.
Necesidad
Comprobar la satisfacción de la orientación a las necesidades.
Para el continuo mejoramiento del programa.
Decisiones basadas en la intuición, sesgos, rumores, corazonadas; difíciles de justificar.
Los resultados ayudarán a la comunidad educativa a estar mejor informados de la toma de decisiones.
Los fracasos escolares.
Los derechos estudiantiles.
Las desigualdades en educación todavía existen.
Ventajas
Recibir un constante feedback sobre el grado de efectividad del programa de orientación.
Poder identificar a estudiantes cuyas necesidades no están siendo satisfechas.
Elegir y utilizar las técnicas de orientación sobre la base de la efectividad.
Poder justificar la eliminación de actividades de orientación inútiles.
Disponer de una evidencia para requerir un incremento de servicios personales y materiales para satisfacer los objetivos del programa.
Problemas y dificultades
De tipo general
Cuándo hacer evaluación.
Apoyo y colación del profesorado.
Interpretar resultados entendibles para la comunidad.
Problemas relacionados con los objetivos, criterios y metas del programa.
Problemas relacionados con la dificultad de encontrar grupos de control apropiados.
Problemas relacionados con el muestreo
Proceso de evaluación
Análisis de las necesidades
Determinar de quién necesitamos recoger datos y con qué finalidad.
Establecimiento de metas y objetivos
Determinar cuáles de las necesidades se pueden atender y establecer sus metas y objetivos.
Diseño del programa
Una vez establecida las metras y objetivos del programa, planificar las actividades que permitirá conseguir los resultados deseados.
Modificación y mejora del programa
Identificar los cambios o ajustes que necesitamos hacer en los objetivos y actividades.
Se puede aplicar el modelo de evaluación de programas de formación de Kirkpatrick aplicado a un programa de desarrollo vocacional.
Se recogen cuatro tipos de datos:
De reacción
Sobre actitudes, sentimientos, imprensiones.
Se recogen inmediatamente después de un programa.
Se recogen por medio de entrevistas y/o cuestionarios.
Aprendizaje
Adquisición de conceptos, principios, hechos, técnicas.
Se recogen inmediatamente después de un programa.
A través de cuestionarios pre-post-programa, simulaciones, entrevistas.
Conducta
Cambios demostrados en conductas y acciones.
De tres a seis mese después de un programa.
A través de cuestionarios pre-post-programa a empleados y supervisores, entrevistas.
Resultados
Reducción de volumen de negocio, absentismo, incremento en productividad, ahorros en costos, ganancias.
De seis meses a un año después de un programa.
Informes y datos actuales, análisis de ahorros/costo-beneficio.
Informe y utilización de lo resultados de la evaluación
Proporciona datos objetivos sobre los que basar nuestras decisiones, comprobar si los procedimientos de evaluación fueron apropiados o no y, por último, ver su el programa satisface a los alumnos.
Referencias
Sanz, R. (1998).
Evaluación de programas en orientación educativa y tutoría
. Madrid: Ediciones Pirámide.
Rodríguez, M. (1995).
Orientación e intervención psicopedagógica
. España: CEAC.
Méndez, J. y Monescillo, M. (2002). Estrategias para la evaluación de programas de orientación.
Revista de Educación
(4), pp. 181-201. Recuperado de
http://rabida.uhu.es/dspace/bitstream/handle/10272/1920/b15150495.pdf?seq
Manzano, N. (2000). Indicadores para evaluar programas de orientación educativa.
REOP, 11
(19), PP. 51-75. Recuperado de
http://revistas.uned.es/index.php/reop/article/view/11324
Elaborado por: Br. Yeni Alejandra Tec Kuyoc