Informe Especial no 9/2007 sobre «La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE — ¿Podría mejorarse el enfoque de la Comisión?», acompañado de las respuestas de la Comisión

• Section: Informaciones

ES Diario Oficial de la Unión Europea C 26/1

IV

(Informaciones)

INFORMACIONES PROCEDENTES DE INSTITUCIONES Y ÓRGANOS DE LA UNIÓN EUROPEA

TRIBUNAL DE CUENTAS

INFORME ESPECIAL No 9/2007

sobre «La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE - ¿Podría mejorarse el enfoque de la Comisión?», acompañado de las respuestas de la Comisión

(presentado en virtud del artículo 248 CE, apartado 4, párrafo segundo)

(2008/C 26/01)

ÍNDICE

Apartados Página

RESUMEN ............................................................... . . I-V 2

INTRODUCCIÓN ....... 1-14 3

Papel de la Unión Europea en el fomento de las acciones de IDT ................... 1-7 3

Evaluación y seguimiento de los programas marco ............................. 8-14 5

ALCANCE Y ENFOQUE DE LA FISCALIZACIÓN .................................. 15-18 7

OBSERVACIONES DE LA FISCALIZACIÓN ....................................... 19-109 7

Lógica de intervención, definición de los objetivos e indicadores de rendimiento ...... 19-37 7

Estrategia de evaluación .................................................. 38-49 10

Organización de la evaluación de los programas marco .......................... 50-68 11

Metodologías y técnicas de evaluación ....................................... 69-97 14

Difusión y utilización de las constataciones de evaluación ........................ 98-109 19

CONCLUSIÓN GENERAL ..................................................... 110-118 21

Anexo I Determinación del impacto y de los resultados de la intervención pública enIDT ........... 23

Anexo II Disposiciones en materia de seguimiento y de evaluación en las decisiones legislativas relativas a los programas marco IV a VII .................................................... 25

Anexo III Principales diferencias de la evaluación ex post de los programas de investigación entre la UE

(IV a VII programas marco), Estados Unidos y Canadá ................................. 30

Anexo IV Posible estructura del panel de expertos del VII PM ................................... 31 Artículo 163

Respuestas de la Comisión .............................................................. 32

ES Diario Oficial de la Unión Europea 30.1.2008

RESUMEN

1. Los programas marco comunitarios de IDT constituyen la más importante fuente de financiación pública en materia de investigación en la Unión Europea. La Comisión se encarga de la gestión de estos programas y de la evaluación de sus resultados.

2. La fiscalización tuvo como objeto los sistemas de seguimiento y evaluación en vigor desde 1995 para los tres últimos períodos de programación (IV PM, V PM y VI PM), y también presenta una visión general del VII PM (2007-2013). La fiscalización contó con la participación del Tribunal de Cuentas de la AELC y con el apoyo de expertos externos.

3. El objetivo de la fiscalización ha sido determinar si el enfoque adoptado por la Comisión para evaluar los resultados de los programas marco es el adecuado. En este contexto, el Tribunal verificó si la Comisión respetaba las obligaciones jurídicas relativas a la evaluación y si su sistema de evaluación y seguimiento respondía adecuadamente a las expectativas de las partes interesadas. El Tribunal examinó en particular si:

   i) en los programas marco, y en sus programas constitutivos, subyace una lógica de intervención que proporcione una base sólida para la evaluación y el seguimiento,

   ii) la Comisión ha definido una estrategia de evaluación para los programas marco,

   iii) la estructura organizativa del sistema de evaluación de la Comisión para los programas marco garantizaba que la evaluación estuviese adecuadamente coordinada, que dispusiese de recursos suficientes y que las partes interesadas la consideraran suficientemente independiente,

   iv) las metodologías empleadas para la evaluación eran satisfactorias,

   v) las actividades de evaluación y seguimiento proporcionaban información y análisis que pudieran ser utilizados para mejorar los programas en curso y para preparar los programas marco subsiguientes.

4. Las constataciones y conclusiones del Tribunal fueron las siguientes:

   i) la falta de una lógica de intervención explícita por una parte, unos objetivos de programa mal definidos, por otra, y una medición insuficiente del rendimiento afectaron negativamente a la eficacia del seguimiento y de la evaluación,

   ii) la ausencia de una estrategia global de evaluación, acordada entre las «direcciones generales de investigación» para los programas marco, dio lugar a una falta de coherencia en los enfoques de los distintos servicios de la Comisión. Esta deficiencia se refleja en particular en una evaluación insuficiente de partes importantes de los programas marco,

   iii) la evaluación de los programas marco estaba descentralizada, los mecanismos de coordinación actuales de las direcciones generales encargadas de la ejecución de los programas marco no han resultado eficaces y los servicios centrales de la Comisión no desempeñaban la función de hacer aplicar las disposiciones. No obstante, en general las «direcciones generales de investigación» han cumplido los requisitos formales de la Comisión en materia de evaluación. El recurso a paneles de expertos externos de alto nivel designados por la Comisión para los principales ejercicios de evaluación se adecuaba bien al contexto comunitario. Sin embargo, estos paneles de carácter temporal no comenzaron a participar en el proceso con la antelación necesaria para influir en la recopilación de elementos probatorios y solo tenían posibilidades limitadas de seguir en el tiempo las cuestiones importantes. Al utilizar un único panel de expertos para el programa marco general (además de un panel para un programa específico), no se prestó la suficiente atención a las cuestiones específicas vinculadas a los distintos ámbitos científicos de los programas marco,

   iv) las orientaciones metodológicas proporcionadas fueron inadecuadas, los evaluadores se vieron confrontados a dificultades para recopilar datos pertinentes y no se realizaron estudios de evaluación que abordaran los efectos e impactos a más largo plazo de los programas marco, frente a las cuestiones más inmediatas de ejecución de los programas,

   v) por consiguiente, y dado que las evaluaciones a menudo se efectuaron demasiado pronto para abordar las cuestiones más importantes, el sistema utilizado por la Comisión para evaluar los programas marco ha sido poco útil para los responsables de tomar decisiones políticas, para las partes interesadas o incluso para la propia Comisión. En definitiva, se dispone de poca información sobre la consecución de los objetivos del programa y los resultados de los programas marco.

5. El Tribunal recomienda lo siguiente:

   i) debería definirse una lógica de intervención más explícita en la futura legislación. Sería conveniente explicar las hipótesis subyacentes, clarificar el vínculo entre los objetivos científicos y socioeconómicos, y elaborar unos indicadores de rendimiento apropiados,

   ES Diario Oficial de la Unión Europea C 26/3

   ii) las direcciones generales que ejecutan los programas marco deberían desarrollar (y acordar) una estrategia global de evaluación. En particular, esta debería comportar un enfoque coherente sobre el nivel mínimo a partir del cual debe llevarse a cabo una evaluación detallada, con el fin de tener en cuenta las particularidades de cada ámbito científico,

   iii) debería contemplarse la creación de una oficina de evaluación conjunta para coordinar las actividades de evaluación de las «direcciones generales de investigación» para el programa marco en su conjunto, así como el establecimiento de un sistema de paneles (y subpaneles) compuestos de expertos externos. Dichos paneles deberían constituirse con la antelación suficiente para proporcionar un apoyo eficaz a la Comisión, y continuar haciéndolo durante todo el período de programación y posteriormente,

   iv) deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito,

   v) deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito.

   la Unión Europea en el fomento de las acciones de IDT

   investigación y el desarrollo tecnológico (IDT) (1) consel principal motor del progreso científico y tecnológico, de la innovación, y como tales contribuyen particularla mejora del nivel de vida. La intervención pública en el de la IDT se justifica generalmente como medida correcpaliar las denominadas «deficiencias del mercado», es las ayudas públicas...