DISEÑO Y EVALUACION DE PROGRAMAS
(Materia optativa: Segundo Ciclo)



Dra. R. Fernández-Ballesteros
Dept. de Psicología Biológica y de la Salud (Despacho 15A)
Dr. J. Botella Ausina
Dept. de Psicología Social y Metodología (Despacho 63)



I. Objetivos generales

                  - Aprendizaje de conocimientos básicos sobre diseño y evaluación de programas.
                  - Aprendizaje de habilidades necesarias para llevar a cabo el diseño y la planificación de la evaluación de un programa en las áreas de contenido de la titulación de psicología.
                  - Conexión y aplicación de otros aprendizajes referidos a materias evaluativas, metodológicas y de contenido que puedan ser útiles para el diseño y evaluación de programas.



II. Temario

Unidad 1: CONCEPTOS BASICOS Y APLICACIONES (20 de Febrero al 5 de Abril)
Prof: R. Fernández-Ballesteros

Tema 1. EL CICLO DE INTERVENCION Y EVALUACION

      1.1 El ciclo de intervención social
                  - El problema y las necesidades
                  - Los objetivos y metas
                  - La pre-evaluación
                  - El programa
                  - La implantación
                  - La evaluación
                  - Toma de decisiones
      1.2 Tipos de juicios valorativos y ciclo de intervención
      1.3 La evaluación de la evaluabilidad
      1.4 Ciencia y política en el diseño y la evaluación de programas

Lectura básica:
Fernández-Ballesteros, R.(1995): El ciclo de intervención social y evaluación. En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis

Tema 2. CUESTIONES CONCEPTUALES BASICAS EN EVALUACION DE PROGRAMAS

      2.1.¿Qué es evaluación de programas?
      2.2.Componentes básicos de la evaluación de programas
      2.3 Los distintos implicados en la evaluación de programas
      2.4 Tipos de evaluación de programas
      2.4 Alternativas polémicas:
                  - Ciencia vs. Política                   - Lo Cualitativo vs. lo Cuantitativo

Lectura básica:
Fernández-Ballesteros (1995): Cuestiones conceptuales básicas en evaluación de programas. En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis

Tema 3. EL PROCESO DE EVALUACION DE PROGRAMAS

      3.1 El proceso de evaluación
                  - Planteamiento de la evaluación
                  - Selección de operaciones a observar
                  - Selección del diseño
                  - Recogida de información
                  - Análisis de datos
                  - El informe
      3.2 Estándares en la evaluación de programas: Utilidad, Factibilidad, Probidad, Adecuación

Lectura básica:
Fernández-Ballesteros (1995): El proceso de evaluación de programas. En R. Fernández-Ballesteros (Dir.) Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis
Fernández-Ballesteros (Dir)(1992): Introducción a la evaluación psicológica Madrid: Pirámide

Tema 4: UTILIZACION DE LA EVALUACION DE PROGRAMAS

      4.1 Dimensiones de utilización de la evaluación de programas
      4.2 El modelo de la ingeniería en la utilización de la evaluación de programas
      4.3 Tipos de utilización
      4.4 Estrategias para aumentar la utilización de las evaluaciones

Lectura básica
Vedung, E. (1995): Utilización de la evaluación de programas En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis

Tema 5: ÁMBITOS DE APLICACION

      5.1 Ámbitos donde el diseño y evaluación de programas ha de incorporar al psicólogo y la psicología
      5.2. Evaluación en servicios sociales
      5.3 Evaluación de programas de educación
      5.4 Evaluación de programas de salud

Lectura básica
Fernández-Ballesteros, R. (Dir) (1995): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis (Capítulos 7,8 y 9)


UNIDAD 2: METODOLOGÍA (9 de Abril al 30 de Mayo)
Prof. J. Botella

Tema 6. PROCEDIMIENTOS DE RECOGIDA DE INFORMACION

      6.1. Criterios de rigor en la selección de indicadores/medidas/instrumentos en la evaluación de programas
      6.2 Técnicas de recogida de información de carácter cuantitativo:
                  - La encuesta y la entrevista estructurada
                  - Otras medidas de autoinforme
                  - Observación estructurada y/o sistemática
                  - La utilización de indicadores sociales, económicos y de salud
                  - Consulta de datos de archivo y otras medidas no contaminadas
      6.3 Técnicas de recogida de información de carácter cualitativo:
                  - La entrevista abierta y el análisis de contenido
                  - Los grupos de discusión
                  - La observación participante y el enfoque etnográfico
                  - El socioanálisis
                  - La técnica Delphi

Lectura básica:
Hernández, J.M. (1995): Procedimientos de recogída de información en evaluación de programas. En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis

Tema 7. DISEÑOS EN EVALUACION DE PROGRAMAS

      7.1 Criterios de validez en la estimación de impacto
      7.2 Referentes del diseño y su configuración
      7.3 Diseños no experimentales
      7.4 Diseño con grado parcial de experimentalidad
      7.5 Diseños experimentales en evaluación de programas

Lectura básica:
Anguera, M.T. (1995): Diseños. En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis.

Tema 8. ANALISIS DE DATOS

      8.1. El papel del análisis de datos en la valoración de programas
      8.2 Las escalas de medida
      8.3 Preparación de los datos
      8.4 Análisis descriptivo
      8.5 Análisis inferencial
      8.6 Meta-análisis
      8.7 Los pasos en el análisis de datos

Lectura básica:
Botella, J. y Barriopedro, M.I. (1995): Análisis de datos En R. Fernández-Ballesteros (Dir.): Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid: Ed. Síntesis.

Lecturas de repaso de la Unidad 2: León, O y Montero, I. (1993): Diseño de Investigaciones Madrid: McGRaw Hill
Botella, J, León, O. y San Martín, R. (1993): Análisis de datos en Psicología I Madrid: Pirámide.



IV Prácticas

Las prácticas de la asignatura serán obligatorias y, en parte, se realizaran en horas lectivas. Se llevarán a cabo en grupos de entre 3 y 5 alumnos y serán tutorizadas por los profesores de la materia. La práctica tendrá que concluir con un informe cuyo entrega será necesaria para presentarse al examen.

En los primeros días de clase los alumnos tendrán que decidir que tipo de práctica van a realizar:
1. Proyectar un diseño de intervención y evaluación
2. Planificar la evaluación de un programa ya en marcha.

En el primer caso, será conveniente que trabajen en el diseño de un programa cuyos contenidos esten cursando (o hayan cursado) en otras materias (por ejemplo, Psicología de la salud, Psicología de la educación, Psicología ambiental, etc.).
En el segundo caso, antes de elegir el programa a evaluar, los alumnos deberán cerciorarse de que tienen acceso al material del programa así como a las personas que lo han diseñado y lo estan implantando.
En ambos casos, se seguirán los ejercicios que aparecen en el texto complementados con otros que clarifiquen cuestiones específicas.



V Examen

Para presentarse a examen se requiere haber entregado las prácticas. El examen será tipo test con tres alternativas de respuesta. Ejemplos de las preguntas son los siguientes:
-Cuando se dice que las categorías o alternativas de las preguntas cerradas de un cuestionario deben ser congruentes se quiere decir...
            a) que todo individuo o unidad debe poder incluirse en alguna
            b) que debe ser imposible encuadrar a un mismo sujeto en más de una
            c) que no se deben mezclar criterios distintos, como por ejemplo los económicos y los culturales
-Las personas que están en una lista de espera para, por ejemplo, ingresar en una Residencia de ancianos pertenecen al grupo de:
            a) población general
            b) población objetivo
            c) usuarios



VI. Bibliografía: Manuales básicos en español

- Aguilera, M.J. y otros (1990): Evaluación del programa de integración escolar de alumnos con deficiencias. Madrid: CIDE

- Alvira, F. (1991): Metodología de la evaluación de programas Madrid: CIS

- Ballart, X. (1992): ¿Cómo evaluar programas y servicios públicos? Madrid: Ministerio para las Administraciones Públicas

- Campbell, D. y Stanley, J. (1973): Diseños experimentales y cuasiexperimentales en la investigación social Buenos Aires: Amorrortu (Ed. original: 1966)

- Cardenal, V. y otros (1994): Evaluación de programas de reinserción social Málaga: Miguel Gómez Ed.

- Cohen, E. y Franco, R. (1988): Evaluación de proyectos sociales. Buenos Aires: GEL

- Cook, T.D. y Reichardt, C. S (Eds.): Métodos cuantitativos y cualitativos Madrid: Morata (Ed. original, 1982)

- Fernández-Ballesteros, R. (1985): Evaluación psicológica y evaluación valorativa. Evaluación psicológica/Psychological Assessment, 1-2: 3-20

- Fernández-Ballesteros, R. (Dir.): Evaluación de programas: Una Guia practica en sociales, educativos y de salud Madrid: Síntesis

- García Ferrando, M., Ibañez, J. Y Alvira, F. (Comp): El análisisde la realidad Social: Métodos y técnicas de investigación Madrid: Alianza (Segunda Edición revisada)

- Gelpi, E., Zufiaur, R., Cabrera, F. y Ferrandez, A. (1987): Técnicas de evaluación y seguimiento de programas de formación profesional Madrid: Ed. Largo Caballero

- House, E.R. (1994): Evaluación ética y poder. Madrid: Morata (Ed. original, 1980)

- Rossi, P.H. y Freeman, H.E. (1989) Evaluación: Un enfoque sistemático para programas sociales Mexico: Trillas (Ed. original, 1985)

- Stufflebeam, D.L. y Shikfield , A.-J. (1987): Evaluación sistemática: Guía teórica y práctica Barcelona: Paidos (Ed. original, 1985).

- Weiss, C.H. (1975): Investigación evaluativa México: Trillas (Ed. original: 1979).


Publicaciones periódicas

American Journal of Evaluation: JAI Evaluation Review, Sage Pub.

Evaluation, Sage Pub.

Evaluation Studies: Sage Pub.

Evaluation Practice: JAI Pub.