Abstract:

This Ph.D. thesis has been developed within the framework of a European Horizon 2020 project called "LIAISON: Linking Actors, Instruments and Policies through Networks."LIAISON is part of a larger initiative of the EU Commission under the new policy concept European Innovation Partnership on Agricultural Productivity and Sustainability (EIP-AGRI) and challenges the fundamental agricultural system fostering partnerships and close cooperation between farmers, producers, processors, advisors, and researchers to speed up the capacity to innovate in agriculture, forestry, and rural development. This research and innovation project aims to foster and optimize interactive innovation in agriculture, forestry, and rural areas. In line with this aim, the project LIAISON assessed 200 reviews in interactive innovation projects in 15 countries in Europe, of which 32 cases were assessed in-depth.
The works carried out in this thesis are part of the project LIAISON, which is to explore the innovation impact assessment approaches and further to developing methods and tools for evaluation.
The contribution of the thesis is to give voice to the rising new paradigm of interactive innovation through a thorough literature review and in-depth case study analysis. The literature review was done on innovation impact assessment in rural, agriculture, and forestry. The findings contribute to lay the base framework for the cases analyzed in the remaining chapters.
Chapter 1 presents a thorough literature review on innovation impact assessment in rural, agriculture, and forestry. This review aimed to find methodologies and frameworks that draw upon new solutions to face the challenges for an impactful innovation impact assessment in the rural territory. The focus was to explore how methods address the innovation process itself as it develops throughout the process. Therefore, the study is not looking at the result of the innovation processes but how impact assessment can support and optimize the innovation process. A two-stage systematic literature review was conducted. The first stage identified 348 papers addressing innovation impact assessment in the rural, agriculture, and forestry area. In the second stage, the focus was narrowed down to papers that elaborate on participatory methods that are more context-specific, development, and process-oriented and seek to optimize innovation by overcoming challenges the stakeholders face in their context. Seventy-four articles were reviewed whether they responded to the challenges of the innovation process, and it has been identified that stakeholders and researchers are interested in assessing the social impact. From the 74, 18 articles were selected that used participatory methods to increase co-creation. Different methods such as PIPA (Participatory Impact Pathway Analysis), SNA (Social Network Analysis), PSC (Positive Social Change), and PAR (Participation Action Research), and Outcome-evidencing method are among the few that can take up the challenges that evaluators and stakeholders are facing in their rural territory. The Developmental Evaluation approach is proposed to enhance the usefulness of these methods as ongoing assessment methods and tools to respond to changing circumstances the projects and programs face.
Among the methods and tools identified in Chapter 1, the coming chapter seeks to prove through real case studies' what is it that is holding back the innovation?'. As has been said in Chapter 1 that the social impact area has been studied the most and based on our assumption on the LIAISON project, that interactivity is key to innovation, Chapter 2 demonstrates through the Social Network Analysis a stakeholder-associated risk map. Stakeholders from two interactive innovation cases in Spain were interviewed and analyzed using the Social Network Analysis. An analysis based on stakeholder interaction is promising in examining the impact or evaluating interactive innovation processes. The study draws on a stakeholder-associated risk network map that provides the stakeholder with a more holistic view of interactions in the project. Findings are (1) internal stakeholders play a more important role than government or external stakeholders (2) communication among the stakeholders within the project is the most critical risk faced (3) establishing a well-defined terminology is critical to better communication among stakeholders (4) acknowledging the diversity, such as ethical and cultural differences among stakeholders is a critical risk to overcome and a step to start better communication.
Chapter 3 develops a qualitative method to approach the main aim of the thesis, a self-evaluation scheme. Apart from the methods and tools found in the literature review on innovation impact assessment, interviews and workshops with partners from the LIAISON project were done to explore fundamental questions that aim at improving the process, outcomes, and results of the project. The starting point of the data collection was a workshop held on September 27, 2019, in Evora, Portugal, where 45 partners from LIAISON were asked to reflect on aspects that could help the success of a rural innovation initiative in five interactive innovation situations (the five interactive innovation framework of LIAISON), answering the question: What questions should an innovator ask him/herself during the process, so that his or her project can improve? These findings were then extended with the results from Chapter 1, where the author held several discussions with the research team and a group of experts in the evaluation and interactive innovation. The factors found relevant for enhancing innovation are several; however, it happens that these factors cannot be a one monitoring system fits all since all projects or programs are very context-dependent. Therefore, the self-evaluation questions need to consider the context and be flexible with the monitoring system.
Chapter 4 summarizes the main conclusions and implications of the Doctoral Thesis. The main conclusions of each chapter and of the thesis, in general, are represented. Firstly, many participatory methods exist in rural development; however, to accelerate innovation, which must consider the process of the project rather than the results or outcomes, a concept called Developmental Evaluation (DE) is proposed to respond to the remaining challenges of innovation. Further, the research tests the tool, Social Network Analysis, that has been identified as a participatory methodology in the literature review. A tool is a promising tool that analyzes the resources in a network of a project and gives information to the stakeholders to take proper follow-up actions. The tool was regarded as promising to enhance interactivity within the project. Interactive innovation can be defined as a collaboration among various stakeholders wanting to bring change to their present situation and taking actions on their own.
Making a self-assessment, or in other words, self-evaluation questions can be a way for stakeholders to self-monitor, be proactive and at the same time increase the sense of ownership in his or her project.

Resumen:

Esta tesis se ha desarrollado en el marco de un proyecto europeo Horizonte 2020 denominado “LIAISON: Linking Actors, Instruments and Policies through Networks”. Este proyecto de investigación e innovación tiene como objetivo fomentar y optimizar la innovación interactiva en la agricultura, la silvicultura y las zonas rurales. Es parte de una iniciativa más amplia de la Comisión de la Unión Europea bajo el nuevo concepto de European Innovation Partnership on Agricultural Productivity and Sustainability (EIP-AGRI), que desafía el sistema agrícola fundamental fomentando asociaciones y una estrecha cooperación entre agricultores, productores, procesadores, asesores investigadores para acelerar la capacidad de innovación en agricultura, silvicultura y desarrollo rural. En línea con este objetivo, el proyecto LIAISON evaluó 200 proyectos de innovación interactiva en 15 países de Europa, de los cuales 32 casos fueron evaluados en profundidad.
Los trabajos llevados a cabo en esta tesis forman parte del proyecto LIAISON, especialmente al paquete de trabajo dedicado a explorar los enfoques de evaluación del impacto de la innovación y además al desarrollo de métodos y herramientas de evaluación.
La contribución de la tesis es dar voz al nuevo paradigma emergente de la innovación interactiva a través de una revisión exhaustiva de la literatura y un análisis de casos de estudio en profundidad. Se realizó una revisión de la literatura sobre la evaluación del impacto de la innovación en las zonas rurales, agrícolas y forestales. Los resultados contribuyeron a sentar las bases de los casos analizados en los capítulos restantes.
El Capítulo 1 presenta una revisión exhaustiva de la literatura sobre la evaluación del impacto de la innovación en las zonas rurales, agrícolas y forestales. Esta revisión tuvo como objetivo encontrar metodologías y marcos que se basen en nuevas soluciones para enfrentar los desafíos de una evaluación de impacto de innovación impactante en el territorio rural. El objetivo es explorar cómo los métodos abordan el proceso de innovación en sí mismo a medida que se desarrolla el proceso. Por lo tanto, el estudio no analiza el resultado de los procesos de innovación, sino cómo la evaluación de impacto puede respaldar y optimizar el proceso de innovación. Se realizó una revisión sistemática de la literatura en dos etapas. La primera etapa identificó 348 documentos que abordan la evaluación del impacto de la innovación en el área rural, agrícola y forestal. En la segunda etapa, el enfoque se redujo a los artículos que desarrollan métodos participativos que son más específicos del contexto, orientados al desarrollo y al proceso y que buscan optimizar la innovación superando los desafíos que enfrentan las partes interesadas en su contexto. Se revisaron 74 artículos respondiendo o no a los desafíos del proceso de innovación. De los 74, se seleccionaron 18 artículos que utilizaron métodos participativos para incrementar la cocreación. Diferentes métodos como PIPA (Participatory Impact Pathway Analysis), SNA (Social Network Analysis), PSC (Positive Social Change) y PAR (Participation Action Research) y el método de evidencia de resultados se encuentran entre los pocos que pueden asumir los desafíos que los evaluadores y las partes interesadas se enfrentan en su territorio rural. Se propone el enfoque de Evaluación del Desarrollo para mejorar la utilidad de estos métodos como métodos y herramientas de evaluación continua para responder a las circunstancias cambiantes que enfrentan los proyectos y programas.
Entre los métodos y herramientas identificados en el Capítulo 1, el próximo capítulo busca demostrar a través de estudios de casos reales "¿qué es lo que está frenando la innovación?".
Como se ha dicho en el Capítulo 1 que el área de impacto social ha sido el más estudiado y basado en nuestro supuesto del proyecto LIAISON, que la interactividad es clave para la innovación, el Capítulo 2 demuestra a través del Análisis de Redes Sociales un mapa de riesgo asociado a los grupos de interés. Se entrevistó y analizó a las partes interesadas de dos casos de innovación interactiva en España mediante el análisis de redes sociales. Un análisis basado en la interacción de las partes interesadas es prometedor para examinar el impacto o evaluar los procesos de innovación interactivos. El estudio se basa en un mapa de red de riesgo asociado a las partes interesadas que proporciona a las partes interesadas una visión más holística de las interacciones en el proyecto. Los hallazgos son (1) las partes interesadas internas juegan un papel más importante que el gobierno o las partes interesadas externas (2) la comunicación entre las partes interesadas dentro del proyecto es el riesgo más crítico al que se enfrentan (3) establecer una terminología bien definida es fundamental para una mejor comunicación entre las partes interesadas (4 ) reconocer la diversidad, como las diferencias culturales entre las partes interesadas, es un riesgo crítico que hay que superar y un paso para iniciar una mejor comunicación. El capítulo 3 desarrolla un método cualitativo para abordar el objetivo principal de la tesis, métodos y herramientas de evaluación. Además de los métodos y herramientas que se encuentran en la revisión de la literatura sobre la evaluación del impacto de la innovación, se realizaron entrevistas y talleres con socios del proyecto para explorar cuestiones fundamentales que apuntan a mejorar el proceso, sus resultados y los resultados del proyecto.
El punto de partida fue un taller celebrado el 27 de septiembre de 2019 en Évora, Portugal, donde se pidió a 45 socios de LIAISON que reflexionaran sobre aspectos que podrían ayudar al éxito de una iniciativa de innovación rural en cinco situaciones de innovación interactiva (los cinco marcos de innovación interactivos de LIAISON), respondiendo a la pregunta: ¿Qué preguntas debe hacerse un innovador durante el proceso para que su proyecto pueda mejorar?
Estos hallazgos se ampliaron luego con los resultados del Capítulo 1, donde la autora mantuvo varias discusiones con el equipo de investigación y un grupo de expertos en evaluación e innovación interactiva. Los factores que se consideraron relevantes para mejorar la innovación son varios; sin embargo, sucede que estos factores no pueden ser un sistema de monitoreo único para todos, ya que todos los proyectos o programas dependen mucho del contexto. Por lo tanto, las preguntas de autoevaluación deben considerar el contexto y ser flexibles con el sistema de seguimiento.
El Capítulo 4 resume las principales conclusiones e implicaciones derivadas de la Tesis Doctoral y describe los elementos y estrategias clave a tener en cuenta para el análisis en la mejora de la innovación interactiva. Se representan las principales conclusiones de cada capítulo y de la tesis en general. En primer lugar, existen muchos métodos participativos en el desarrollo rural, sin embargo, para acelerar la innovación, que debe considerar el proceso del proyecto más que los resultados o resultados, se propone un concepto llamado Developmental Evaluation (DE) para dar respuesta a los desafíos pendientes de la innovación. Considerando el concepto DE y los métodos y herramientas encontrados a través de la revisión de la literatura, las pruebas de tesis y los métodos y herramientas de evaluación para mejorar la innovación interactiva. La innovación interactiva se puede definir como la colaboración entre varias partes interesadas que desean traer un cambio a su situación actual y tomar acciones por su cuenta.
Hacer una autoevaluación, o, en otras palabras, preguntas de autoevaluación, puede ser una forma para que las partes interesadas se autocontrolen, sean proactivas y al mismo tiempo aumenten el sentido de propiedad de su proyecto.