ARBOR Ciencia, Pensamiento y Cultura 198 (805)
julio-septiembre, 2022, a667
ISSN: 0210-1963, eISSN: 1988-303X
https://doi.org/10.3989/arbor.2022.805015

ANÁLISIS DE INDICADORES PARA EL FOMENTO DE LA CULTURA CIENTÍFICA: UNA DÉCADA DE ACTIVIDAD EN EL CSIC

ANALYSIS OF INDICATORS TO PROMOTE SCIENTIFIC CULTURE: A DECADE OF ACTIVITY IN THE CSIC

Laura Ferrando González

Vicepresidencia Adjunta de Cultura Científica del CSIC

https://orcid.org/0000-0002-4831-7766

Rafael Morera Cuesta

Vicepresidencia Adjunta de Cultura Científica del CSIC

https://orcid.org/0000-0003-1143-4982

Jaime Pérez del Val

Vicepresidencia Adjunta de Cultura Científica del CSIC

https://orcid.org/0000-0002-3457-9079

Pilar Tigeras Sánchez

Ex vicepresidenta adjunta de Cultura Científica del CSIC

https://orcid.org/0000-0002-2938-2685

Resumen

Las actividades de fomento de la cultura científica se han convertido en una práctica habitual de las instituciones de investigación, que destinan presupuesto y recursos humanos a este objetivo. Cada vez más personal científico y técnico incorpora esta misión a sus tradicionales tareas de investigación y formación. Sin embargo, mientras la investigación y la docencia cuentan con indicadores establecidos, las actividades de divulgación siguen estando consideradas como un ejercicio extraordinario, pocas veces reconocido institucionalmente. En este sentido, el uso de unos indicadores de cultura científica contribuiría a favorecer un cambio de mentalidad y a la obtención de datos objetivos sobre los que orientar las acciones de comunicación social de la ciencia.

En este contexto, el Consejo Superior de Investigaciones Científicas (CSIC), a través de su Vicepresidencia Adjunta de Cultura Científica, se ha propuesto analizar las actividades desarrolladas en esta línea, entre 2011 y 2019, en relación a los siguientes indicadores: 1) la inversión económica; 2) el personal dedicado a cultura científica; 3) el número y tipo de actividades; y 4) el público al que se llega. Entre las principales conclusiones, destaca que el CSIC cuenta con una masa crítica más o menos estable de unas 200 personas que se dedican a tareas de cultura científica. Cada año se realizan alrededor de 15.000 actividades (presenciales y no presenciales) en las que se implican alrededor de 3.000 trabajadoras y trabajadores del CSIC. Cada año participan cerca de un millón y medio de personas de manera presencial.

Palabras clave: 
Cultura científica; divulgación científica; indicadores; CSIC
Abstract

Activities to promote Scientific Culture have become common practice in research institutes, which allocate financial and human resources to them. Scientific and technical staff increasingly incorporate this mission into their traditional research and teaching tasks. However, while research and teaching have established indicators, Scientific Culture activities are still considered unusual and are rarely recognized at an institutional level. In this sense, we believe that developing indicators for Scientific Culture would help change this situation and obtain objective data that could be used to orient social communication actions in science.

The Consejo Superior de Investigaciones Científicas (CSIC), through its Deputy Vice Presidency of Scientific Culture, has proposed an analysis of the activities developed that help define appropriate Scientific Culture indicators. The CSIC has classified the Scientific Culture activity undertaken between 2011 and 2019, using the following indicators: 1) financial investment; (2) staff dedicated to Scientific Culture; (3) the number and type of activities held; and (4) the public reached. Among the main conclusions, we can highlight that the CSIC has a fairly stable critical mass of about 200 people who are dedicated to Scientific Culture endeavours. Every year around 15,000 activities are carried out (in-person and virtual) with the participation of around 3,000 CSIC workers. Each year more than a million and a half people attended in-person activities. 2020 will be the subject of an individualized study, as the special circumstances of the COVID-19 pandemic have made it a unique exercise with its own analysis identity.

Keywords: 
Scientific Culture; scientific dissemination; indicators; CSIC

Recibido: 15  marzo  2021. Aceptado: 18  octubre  2021. Publicado: 28 octubre 2022

Cómo citar este artículo/Citation: Ferrando González, Laura; Morera Cuesta, Rafael; Pérez del Val, Jaime; Tigeras Sánchez, Pilar (2022). Análisis de indicadores para el fomento de la Cultura Científica: una década de actividad en el CSICs. Arbor, 198(805): a667. https://doi.org/10.3989/arbor.2022.805015

CONTENIDO

1. INTRODUCCIÓN

 

Hoy en día, las actividades de fomento de la cultura científica se han convertido en una práctica habitual de las instituciones de investigación en todo el mundo, que destinan presupuesto y recursos humanos a este objetivo. Cada vez más personal científico incorpora esta misión a sus tradicionales tareas de investigación y formación de personal investigador. Sin embargo, mientras la investigación y la docencia cuentan con indicadores establecidos (aunque se pongan en cuestión cada cierto tiempo), las funciones relacionadas con el fomento de la cultura científica siguen estando consideradas como un ejercicio extraordinario y pocas veces reconocido institucionalmente. En este sentido, el desarrollo de unos indicadores que midan la actividad de fomento de la cultura científica desde las instituciones científicas puede contribuir a favorecer un cambio de mentalidad en el personal y de dinámica en las organizaciones, facilitar ese reconocimiento y conocer lo que se realiza en sus centros y laboratorios para ponerlo en valor y mejorarlo.

Una revisión bibliográfica nos muestra como la mayoría de los esfuerzos se han concentrado en medir la percepción social de la ciencia y la tecnología; es decir, que se centran en el desarrollo de indicadores y sistemas de evaluación del impacto que las actividades de cultura científica tienen sobre los diferentes públicos. Sin embargo, existen excepciones recientes en el ámbito iberoamericano que han hecho un esfuerzo por medir el impacto de estas actividades sobre los propios actores que las ejecutan, así como para medir la complejidad de la apropiación social de la ciencia (Daza-Caicedo, 2017Daza-Caicedo, Sandra et al. (2017). Hacia la medición del impacto de las prácticas de apropiación social de la ciencia y la tecnología: propuesta de una batería de indicadores. Historia, Ciências, Saúde-Manguinhos, 24 (1): 145-164. https://doi.org/10.1590/s0104-59702017000100004 ), o bien han diseñado una batería de indicadores adecuados a universidades y estructuras específicas de fomento de la cultura científica, como son las unidades de cultura científica y de la innovación en España (Ojeda-Romano y Fernández-Marcial, 2017Ojeda-Romano, Graciela y Fernández-Marcial, Viviana (2017). Universidades y promoción de la cultura científica: propuesta de indicadores para un análisis de las actividades de divulgación desde las Unidades de Cultura Científica e Innovación. Bibliotecas. Anales de investigación, 13 (2): 133-157.). Entre las recientes aportaciones, destaca la guía elaborada por el Grupo de Trabajo de Divulgación y Cultura Científica de la Conferencia de Rectores de las Universidades Españolas (CRUE) - I+D+i (Red Divulga), en colaboración con la Fundación Española para la Ciencia y la Tecnología (FECYT) (CRUE, FECYT, 2018CRUE Universidades Españolas y la Fundación Española para la Ciencia y la Tecnología (FECYT) (2018). Guía de valoración de la actividad de divulgación científica del personal académico e investigador. Madrid. CRUE-FECYT. Disponible en: https://www.crue.org/wp-content/uploads/2020/02/Guia-Valoración-Divulgación-Nov-VDEF.pdf ). La guía busca ser una herramienta de ayuda para la evaluación de la actividad divulgativa del personal científico y docente de las universidades en procesos de promoción profesional. También resulta interesante la Guía básica para la evaluación de proyectos de cultura científica de FECYT, publicada en 2018, especialmente para tener en cuenta parámetros e indicadores de medición en este tipo de proyectos.

Cuando se habla de cultura científica las interpretaciones que surgen entre los diferentes actores que participan en esta compleja realidad pueden ser muy diferentes. Términos como divulgación, difusión, comunicación social de la ciencia o cultura científica se entremezclan y confunden en castellano del mismo modo que sucede en el mundo anglosajón con sus versiones en inglés, incluso entre quienes diseñan y ejecutan actividades de fomento de la cultura científica. Para el presente trabajo hemos tomado como referencia el término cultura científica, ya que reúne cierto consenso entre los expertos y expertas en el ámbito académico iberoamericano y es, siguiendo las definiciones existentes, el que más se ajusta a la realidad de las iniciativas emprendidas en la mayoría de las instituciones científicas.

En una revisión de la literatura especializada respecto al concepto de cultura científica, José Antonio López Cerezo señala que esta puede ser interpretada como «un fenómeno multidimensional, que implica conocimiento, actitudes y comportamiento» (López Cerezo, 2017: 20López Cerezo, José Antonio (2017). Comprender y comunicar la ciencia, Madrid. Los libros de la Catarata. ). Explica que es conocimiento sobre los hechos y la propia actividad científica, donde se incluirían cuestiones como metodología, riesgos, controversias, dilemas éticos, etc. Son actitudes, sentimientos y valoraciones sobre los resultados, la profesión y las instituciones, el impacto social, etc. Y son comportamientos a partir de esos conocimientos y valoraciones, tanto en la vida ordinaria como en situaciones extraordinarias como, por ejemplo, ante situaciones que ponen en peligro la salud.

En un mundo cada vez más influido por los cambios tecnológicos, este fenómeno debe interpretarse como «la posesión de una cultura científica cívica» para poder comprender las cuestiones e intereses relacionados con la ciencia y la tecnología para que la ciudadanía pueda formarse una opinión y participar en la vida democrática (Cámara Hurtado, Muñoz van den Eynde y López Cerezo 2018: 690-707Cámara Hurtado, Montaña; Muñoz van den Eynde, Ana y López Cerezo, José Antonio (2018). Attitudes towards science among Spanish citizens: The case of critical engagers. Public Understanding of Science, 27 (6): 690-707. https://doi.org/10.1177/0963662517719172 ).

Siguiendo con la propuesta de López Cerezo, podríamos interpretar el fomento de la cultura científica como el conjunto de iniciativas encaminadas a incrementar el conocimiento científico de la sociedad y su interés (favorecer un cambio cognitivo), a promover actitudes críticas y fundadas sobre la ciencia y la tecnología (propiciar un cambio actitudinal), y a motivar una participación o una forma de actuar determinada basada en un conocimiento crítico (facilitar un cambio de comportamiento).

Para situarnos en el contexto internacional, según estas definiciones, el fomento de la cultura científica podría entenderse como equivalente al concepto de public engagement (PE) del mundo anglosajón. La rama del PE hay que enmarcarla en la propia evolución de los estudios sociales de la ciencia y la tecnología (CTS). Tal y como recuerdan Bauer, Allum y Miller (2007)Bauer, Martin W.; Allum, Nick y Miller, Steve (2007). What can we learn from 25 years of PUS survey research? Liberating and expanding the agenda. Public Understanding of Science, 16: 79-95. https://doi.org/10.1177/0963662506071287 en la revisión que hicieron de los estudios CTS realizados en los veinticinco últimos años del pasado siglo XX, estos suelen marcar una serie de etapas de la comprensión pública de la ciencia a través de los siguientes paradigmas: 1) paradigma de la alfabetización científica (science literacy), 2) paradigma de la comprensión pública (public understanding) y 3) paradigma de ciencia en sociedad (public engagement). Cada uno de estos paradigmas se enmarca en un contexto determinado y pone el acento en un déficit concreto. Por ejemplo, para el paradigma de la alfabetización científica, que fue el predominante entre los años 60 y 80 del siglo XX, el problema de la falta de apoyo a la ciencia y la tecnología radicaba en el bajo conocimiento científico del público, por lo que las soluciones había que dirigirlas a reforzar la educación científica formal e informal (a través de las escuelas y los medios de comunicación de masas, fundamentalmente). El paradigma de la comprensión pública de la ciencia estimó que el déficit no surge del desconocimiento ciudadano, sino de su confianza hacia la ciencia. A partir de las diferentes consecuencias científicas y tecnológicas que se empiezan a conocer hacia finales de los años 70 del siglo pasado, especialmente en los ámbitos de la salud y del medio ambiente, se identifica, a través de las encuestas de percepción social de la ciencia llevadas a cabo en Estados Unidos, una crisis de confianza del público sobre la ciencia y la tecnología. Se reforzaron medidas enfocadas al fomento de actividades de difusión y comunicación bajo el lema the more you know it, the more you love it (cuanto más conoces algo, más te gusta). Sin embargo, el presupuesto que correlacionaba una desconfianza con una falta de conocimiento fue puesto en entredicho con las mismas herramientas de análisis: las encuestas de percepción social de la ciencia mostraban que entre aquellas personas que más conocimiento científico poseían se encontraban también las más críticas. El paradigma conocido como ciencia en sociedad, predominante en las políticas públicas desde el año 2000, pone el acento en una crisis de confianza en las instituciones científicas y la propia comunidad científica, de tal modo que se incide en que no se trata de un problema de los ciudadanos y ciudadanas, sino de las instituciones científicas que no han sabido establecer una relación de confianza y comunicación con la sociedad. El acento se pone aquí en el desarrollo de medidas que favorezcan el diálogo y la apropiación social de la ciencia. Trasladado a las políticas públicas, en la actualidad, tanto desde la Unión Europea, Iberoamérica como en España se están promocionando actividades que contemplen un enfoque de diálogo y de participación ciudadana.

Una definición que puede ser útil para comprender tanto este paradigma como las actividades de fomento del PE es la que realiza el Centro Nacional de Coordinación para la Participación Pública del Reino Unido (NCCPE), una de las principales referencias en este campo, en su página web: «Public engagement describes the myriad of ways in which the activity and benefits of higher education and research can be shared with the public. Engagement is by definition a two-way process, involving interaction and listening, with the goal of generating mutual benefit»1Centro Nacional de Coordinación para la Participación Pública del Reino Unido (NCCPE): https://www.publicengagement.ac.uk/about-engagement/what-public-engagement (último acceso febrero de 2021).. Es decir, señalan dos cuestiones principales: 1) contempla una gran variedad de actividades para compartir la actividad y los beneficios de la ciencia y 2) implica una comunicación bidireccional con efectos positivos para las partes implicadas en el proceso de comunicación.

En su reciente estudio sobre indicadores aplicados a las unidades de cultura científica de universidades, Gabriela Ojeda-Romano y C. Viviana Fernández Moral (2017)Ojeda-Romano, Graciela y Fernández-Marcial, Viviana (2017). Universidades y promoción de la cultura científica: propuesta de indicadores para un análisis de las actividades de divulgación desde las Unidades de Cultura Científica e Innovación. Bibliotecas. Anales de investigación, 13 (2): 133-157. señalan, siguiendo un trabajo de los autores Hart, Northmore y Gerhardt (2009)Hart, Angie; Northmore, Simon; y Gerhardt, Chloe (2009). Briefing paper: auditing, benchmarking and evaluating public engagement. Bristol (UK). National Coordinating Centre for Public Engagement Research., siete dimensiones de la PE que podrían perfectamente aplicarse al concepto de cultura científica que es comúnmente utilizado en el ámbito iberoamericano: 1) acceso público a las instalaciones científicas para conferencias, reuniones, visitas a jardines botánicos, etc.; 2) acceso público al conocimiento a través de eventos; 3) compromiso de los estudiantes, por ejemplo a través del voluntariado; 4) participación de las facultades, a través de personal que considera (y se compromete con) esta faceta como parte de su trabajo; 5) ampliación de la participación, a través de una estrategia para favorecer el acceso a públicos con distintas capacidades; 6) fomento de la regeneración económica y empresarial en el compromiso social, a través de la transferencia de tecnología; y 7) relación institucional y construcción de alianzas como parte de una responsabilidad social corporativa (Ojeda-Romano y Fernández Moral, 2017:134-135Ojeda-Romano, Graciela y Fernández-Marcial, Viviana (2017). Universidades y promoción de la cultura científica: propuesta de indicadores para un análisis de las actividades de divulgación desde las Unidades de Cultura Científica e Innovación. Bibliotecas. Anales de investigación, 13 (2): 133-157.). Las autoras hablan de un ámbito universitario, pero todas las dimensiones se pueden trasladar, con sus matices, al ámbito de investigación en general como el de los organismos públicos de investigación.

Para el presente trabajo utilizaremos indistintamente, como sinónimos, actividades de fomento de la cultura científica o de divulgación, ya que ambas tienen una amplia aceptación entre la comunidad científica y técnica de España (incluso, en muchos casos se acepta mejor el término divulgación que el de cultura científica).

2. METODOLOGÍA

 

El presente artículo resume un trabajo realizado por la Vicepresidencia Adjunta de Cultura Científica (VACC) del CSIC desde 2013, centrado en el diseño, puesta a prueba y consolidación de unos indicadores para la medición del fomento de la cultura científica en esta institución pública de investigación, una organización compleja y única en el territorio español. Se trata de la mayor institución pública dedicada a la investigación en España y la tercera de Europa, gracias a la actividad de alrededor de 120 centros de investigación que estudian todas las áreas del conocimiento repartidos por toda la geografía española. Este potencial geográfico y temático es también uno de los valores del CSIC en el campo de la comunicación social de la ciencia. Desde hace más de una década, este organismo incorpora entre sus principales misiones el fomento de la cultura científica y promueve, de forma institucional, la participación de su personal en actividades de divulgación científica.

Para lograr su propósito, el equipo de trabajo de la VACC estableció como objetivos:

  1. Diseñar unos indicadores cuantitativos y cualitativos, que tuvieran en cuenta la perspectiva de género y se adecuaran a la complejidad del CSIC, así como que garantizaran la comparabilidad con otras instituciones nacionales e internacionales.

  2. Medir la actividad del CSIC en fomento de la cultura científica.

  3. Desarrollar un sistema que pudiera servir de evaluación para la mejora, la puesta en valor y el reconocimiento de esta actividad dentro de la institución.

  4. Identificar los principales factores implicados en las actividades de fomento de la cultura científica, y mejorar el conocimiento en este campo a nivel institucional.

  5. Favorecer una cultura de evaluación en el marco de la cultura científica.

Una vez diseñados los indicadores fueron puestos a prueba a través de cuestionarios anuales enviados a los centros de investigación y coordinaciones institucionales del CSIC (los órganos de representación territorial de la institución).

Precisamente, se eligió enviar las encuestas a través de centros y delegaciones y no del personal científico y técnico porque se buscaba una representación institucional y no individual. Las encuestas que se hacen a título individual recogen la actividad que se realiza no siempre de forma coordinada ni programada. Es decir, pueden reproducir una imagen irreal de actividades esporádicas y voluntarias, que pocas veces tienen continuidad y apoyo institucional. Con el presente trabajo buscábamos conocer el esfuerzo institucional y coordinado en cultura científica.

Tras la puesta a prueba inicial de los indicadores hemos ido introduciendo mejoras a lo largo de los años que nos han permitido afinar la recogida de datos. Estas mejoras también han recogido las opiniones y aportaciones cualitativas del personal dedicado a la gestión de la cultura científica en el CSIC. Igualmente, hemos analizado los datos recogidos para casi una década completa (2011-2019), cuyos resultados se presentan en este artículo. Cabe señalar que la década no se ha completado, ya que consideramos que el año 2020 requiere un estudio independiente, con entidad propia, debido a las circunstancias especiales causadas por la pandemia de la COVID-19.

2.1. Revisión bibliográfica

 

La primera parte del trabajo consistió en diseñar un modelo de indicadores que cumpliera con los objetivos expuestos anteriormente. Para ello, se revisó la bibliografía existente en este campo. Durante su estudio, encontramos que mientras existen numerosas publicaciones científicas sobre la percepción social de la ciencia por parte de la ciudadanía, con indicadores de análisis, no existe apenas literatura científica sobre indicadores de actividad de fomento de la cultura científica que permita analizar esta estrategia por parte de una institución de investigación. Sin embargo, hay interesantes referencias que permitían establecer una guía para el presente proyecto.

Uno de los trabajos que nos han servido como referencia es el que realizaron Federico Neresini y Massimiano Bucchi (2011)Neresini, Federico y Bucchi, Massimiano (2011). Which indicators for the new public engagement activities? An exploratory study of European research institutions. Public Understand. Sci 20 (1): 64-79. https://doi.org/10.1177/0963662510388363 sobre cuarenta instituciones científicas para determinar indicadores en public engagement con el fin de analizar también los elementos que contribuyen a fortalecer esta faceta dentro de las instituciones. Entre los indicadores que trabajaron en su estudio destacaron aquellos relativos a los recursos destinados a PE: el acceso público a datos, si se cuenta o no con un equipo de prensa, las relaciones con medios de comunicación, las publicaciones dirigidas a público general, los proyectos y redes sobre PE, actividades con escuelas, visitas a laboratorios, jornadas de puertas abiertas, si existe o no colaboración con gobiernos locales y ONG, conferencias y actividades para público general, así como herramientas de difusión online (incluían, por ejemplo, una batería de indicadores sobre las páginas webs). En resumen, a los diversos formatos y canales de comunicación, sumaron cuestiones más estructurales como recursos y oficinas de prensa. Los autores indicaron que pese al esfuerzo en actividades de PE no existía una cultura evaluadora dentro de las instituciones. Entre sus conclusiones, señalan que «ser capaces de contar con indicadores y estándares para las acciones proporcionaría un apoyo importante a aquellas instituciones y actores políticos que quisieran tomarse en serio el reto de la participación ciudadana y el diálogo social» (Neresini y Bucchi, 2011:77Neresini, Federico y Bucchi, Massimiano (2011). Which indicators for the new public engagement activities? An exploratory study of European research institutions. Public Understand. Sci 20 (1): 64-79. https://doi.org/10.1177/0963662510388363 ).

Otro de los estudios que nos ha servido de referencia es el trabajo realizado por Pablo Jensen e Yves Croissant en el Centre National de la Recherche Scientifique francés (CNRS), una institución de estructura similar al CSIC. En un primer estudio Jensen y Croissant (2007)Jensen, Pablo y Croissant, Yves (2007). CNRS researchers’ popularizations activities: a progress report. Journal of Science Communication 6 (3). Disponible en: http://jcom.sissa.it. https://doi.org/10.22323/2.06030201 analizaron las actividades de popularización de la ciencia realizadas por los investigadores del CNRS durante los años 2004, 2005 y 2006. El contexto es importante. En el CNRS, el personal investigador redacta un informe anual (Compte Rendus Annuels des Chercheurs) en el que, entre otras actividades científicas y de formación, tienen que especificar el tipo de actividades de comunicación social de la ciencia que hayan realizado durante el año. Los datos son individuales, y solo de personal investigador. Además, tal y como recuerdan los autores, en 2005, el entonces director general del CNRS, Bernard Larrouturou, envió una circular en la que animaba a realizar actividades de divulgación. En su plan de trabajo plurianual, el CNRS también incluía este objetivo, además de señalar la necesidad de trabajar en la evaluación de actividades paralelas a la investigación para que fueran tenidas en cuenta en las carreras profesionales.

Para su estudio, Jensen y Croissant agruparon las actividades para evitar una larga lista que perjudicara un correcto análisis; de hecho, a lo largo de su trabajo, fueron mejorando esa agrupación para evitar también que la sección de otros fuera demasiado larga y dispersa. Los formatos recogidos incluyeron conferencias y debates, exposiciones, acciones en asociación, acciones en colegios, libros, CD, software, jornadas de puertas abiertas, periódicos y revistas, radio, tv, películas y webs.

Los principales resultados de este estudio fueron que la mayoría del personal investigador del CNRS no estaba implicado en actividades de popularización (el 51% no había hecho ninguna actividad en esos tres años, y dos tercios solo habían hecho una) y que las actividades eran muy variadas. Según declararon se realizaban unas siete mil actividades anuales. Los autores hicieron una clasificación a nivel individual, por áreas del conocimiento y por regiones. Distinguieron tres tipos de participación: (1) la mayoría silenciosa, en la que uno/a de cada dos investigadores/as no se había involucrado nunca en actividades y dos de cada tres lo habían hecho como mucho en una actividad, una vez en tres años; (2) una minoría abierta a la divulgación donde uno/a de cada tres, había estado involucrado/a entre una y cuatro actividades al año; y (3) comunicadores/as científicos/as activos/as: el 3% del personal investigador que realizaban a menudo actividades de divulgación (más de cuatro veces al año) y eran responsables del 30% de las actividades del CNRS.

Más adelante, Jensen (2011)Jensen, Pablo (2011): A statistical picture of popularization activities and their evolutions in France, Public Understanding of Science, 20 (1): 26-36. https://doi.org/10.1177/0963662510383632 realizó una revisión de la evolución del fomento de la cultura científica a lo largo de seis años (2004-2009), e incluyó la perspectiva del public engagement. En su análisis aprecia un aumento de la actividad de divulgación, sobre todo en iniciativas realizadas por demanda externa. Jensen vuelve a encontrar una división entre personal investigador inactivo, aquel que no se sienten involucrado ni comprometido y no hacen actividades; abierto, aquel que se compromete de vez en cuando, en función de factores externos (demanda) o internos (disponibilidad), y el personal investigador siempre activo, que hace actividades todo el año. Para cada grupo, el autor realiza unas recomendaciones para implementar desde el CNRS que podrían favorecer el incremento de su implicación en la cultura científica. Para el personal inactivo, que podría ser menos proclive a cambiar sus prácticas rápidamente, propone que pudiera percibir una atmósfera cultural favorable a la divulgación, por ejemplo, con la creación de un premio anual a la mejor iniciativa o la creación de una figura responsable de actividades de PE en cada laboratorio. Para aquel personal que es más abierto podría mejorar si reciben ayuda práctica para organizar una exposición, para afrontar una entrevista, etc. Finalmente, el personal científico siempre activo podría necesitar un reconocimiento por su actividad, en términos de promoción. Se beneficiaría de una evaluación externa de sus actividades, que promoviera una actitud más reflexiva y motivara el debate sobre las actividades de PE y los límites del modelo del déficit que normalmente adoptan de forma intuitiva.

Otro estudio interesante en este sentido ha sido el análisis que realizó Andrea Vargiu (2014Vargiu, Andrea (2014). Indicators for the evaluation of public engagement of higher education institutions. Journal of the Knowledge Economy, 5 (3): 562-584. https://doi.org/10.1007/s13132-014-0194-7 ) sobre indicadores de divulgación en el ámbito universitario y que parte de los trabajos anteriores de Hart y Molas-Gallart (2009)Hart, Angie; Northmore, Simon; y Gerhardt, Chloe (2009). Briefing paper: auditing, benchmarking and evaluating public engagement. Bristol (UK). National Coordinating Centre for Public Engagement Research., entre otros. En su estudio establece indicadores de carácter cuantitativo en torno a la cantidad de actividades, proyectos y personas.

También resultan muy interesantes las aportaciones que ha realizado la asociación sueca Vetenskap & Allmänhet (VA) en un informe publicado en 2011 (Armbruster-Domeyer, Hermansson y Modeer, 2011Ambruster-Domeyer, Heidi; Hermansson, Karin y Modeer, Camilla (2011). Samverkan-Public Engagement. International review, analysis and proposals on indicators for measuring public engagement. VA Report. Stockholm.) en el que analiza la actividad de PE de varios países y la forma en que tienen de medirla, y propone una serie de indicadores basados en lo que se conoce como la escalera de la comunicación científica de Van der Auweraert (the science communication escalator). En su estudio analizan el concepto de samverkan, que puede ser traducido como interacción con la sociedad circundante o colaboración o cooperación, indicando un diálogo en dos direcciones entre ciencia y sociedad, pero que muchas veces es utilizado para referirse a una comunicación unidireccional desde el personal científico a la sociedad. Este término es interpretado como equivalente al public engagement anglosajón.

Ambruster-Domeyer, Hermansson y Modeer estudiaron la actividad en PE en varios países conforme a los siguientes parámetros: 1) si tenían una institución que se encargaba de ello, si organizaba y qué organizaba, y cómo se financiaba; 2) si tenían estatutos o normas donde figurara la PE como misión; 3) si recompensaban a personal investigador por participar en actividades de divulgación; y 4) si contaban con indicadores de medición y, en caso afirmativo, cuáles eran. Los países estudiados fueron Reino Unido, Dinamarca, Noruega, Alemania y Suiza. La mayoría tenían y tienen instituciones que desarrollan, impulsan y financian esta actividad, y varios han publicado declaraciones oficiales de compromiso. La mayoría cuentan con premios para distinguir la labor de los científicos/as. Ninguno tenía entonces indicadores, aunque había aproximaciones, sobre todo en Reino Unido. De hecho, según señalan, el mejor ejemplo es el del Reino Unido, donde existe una institución dedicada a este tema, un manifiesto, herramientas puestas al servicio de los investigadores, análisis y estudios.

Los indicadores analizados se estructuraban en torno al nivel de participación ciudadana en el proceso comunicativo, e incluían cuestiones como publicaciones para público general (libros, prensa, etc.), conferencias, contribuciones a televisión y radio, jornadas de puertas abiertas, actividades varias (cafés científicos, ferias, noche de los investigadores, visitas a colegios), proyectos competitivos, colaboraciones con entidades externas y recursos destinados a PE (humanos y económicos).

La investigación realizada por la VA fue aprovechada por el grupo de trabajo que se creó entre 2009 y 2012 en el seno de la European Science Foundation (ESF) sobre Science and Society Relationships (liderado por el CNRS y del que la VA formaba parte junto a otras instituciones como el CSIC), y que estableció una serie de recomendaciones para las instituciones europeas en materia de cultura científica (ESF, 2013European Science Foundation (2013). Science in Society: caring for our futures in turbulent times. Science Policy Briefing, ESF. ).

Por su parte, Benoit Godin e Yves Gingras (2000)Godin, Benoît y Gingras, Yves (2000). What is scientific and technological culture and how is it measured? A multidimensional model. Public Understanding of Science, 9: 43-58. https://doi.org/10.1088/0963-6625/9/1/303 estudiaron qué es la cultura científica y cómo se mide. En cuanto al concepto, entendían que, pese a la diversidad de nomenclaturas y definiciones en torno a conceptos similares a la cultura científica a nivel global, todas tenían algo en común: buscaban la apropiación social de la ciencia. Según explican, esta puede ser individual o social, y existen tres modos de apropiación: de aprendizaje, de implicación y socio-organizativo. Para cada uno de estos modos definieron una serie de indicadores estructurados en entrada (input), actividad (activity) y resultado (output). Por ejemplo, indicadores del modo aprendizaje serían el número de horas lectivas en ciencia y tecnología o el número de ferias de divulgación (input); el número de estudiantes de carreras científicas, la audiencia de información científica en medios de comunicación (activity); y el número de universidades o de personas interesadas en ciencia y tecnología (output). Para el modo de implicación habría indicadores de actividad como el número de personal científico involucrado en actividades de divulgación y de resultados, o como el número de informes de los gobiernos elaborados por personal científico. Por último, a nivel organizativo, habría indicadores de input, como la inversión económica, y de output, como la cobertura de ciencia en medios de comunicación (en tiempo y espacio) o la elaboración de leyes relacionadas con temas éticos de ciencia y tecnología, por ejemplo (Godin y Gingras, 2000: 52Godin, Benoît y Gingras, Yves (2000). What is scientific and technological culture and how is it measured? A multidimensional model. Public Understanding of Science, 9: 43-58. https://doi.org/10.1088/0963-6625/9/1/303 ).

Ya en el ámbito español, nos encontramos con dos interesantes estudios. El primero de ellos es el elaborado por María José Martín-Sempere, Belén Garzón-García y Jesús Rey-Rocha (2008)Martín-Sempere, María José; Garzón-García, Belén y Rey-Rocha, Jesús (2008). Scientitsts’ motivation to communicate science and technology to the public: surveying participants at the Madrid Science Fair. Public Understanding of Science, 17 (3): 349-367. https://doi.org/10.1177/0963662506067660 a partir de la participación del personal investigador del CSIC en las ferias de la ciencia de Madrid. Si bien este trabajo se centró en las motivaciones del personal investigador para participar en una actividad como la feria de la ciencia, que requiere un alto índice de implicación con el público, sus resultados nos han parecido interesantes para conocer el entorno de nuestro trabajo de campo. Utilizaron un cuestionario y entrevistas que realizaron al personal del CSIC (investigador, técnico, de apoyo y becario) que participaron en la feria Madrid es Ciencia entre los años 2001 y 2004. Los principales motivos que encontraron son el deseo de incrementar el interés y el entusiasmo del público por la ciencia, y mejorar la cultura científica, el conocimiento, y la apreciación social de la ciencia y del personal científico. Las y los investigadores sénior estaban también altamente motivados por un sentimiento de compromiso y deuda con la sociedad. La satisfacción y el disfrute personal fueron importantes entre el personal más joven. Como aspectos negativos destacaron la falta de promoción y de prestigio entre pares.

Las respuestas muestran un alto grado de preocupación y compromiso por parte del personal del CSIC en relación con la comunicación social de la ciencia. Parecían identificarse con el concepto de cultura científica entendido como parte del modelo contextual (frente al modelo del déficit) y una comunicación bidireccional.

Las y los investigadores sénior consideraban la divulgación como un deber, que debía ser reconocida por la institución, y que además debía mostrar solidaridad con la sociedad (que financia la ciencia a través de los impuestos), y así recabar más apoyo para la ciencia. La encuesta señalaba también la dificultad de comunicar la ciencia al público; por ello había quienes creían que estas actividades debían ser desarrolladas por profesionales de la comunicación o dejarlas en manos de museos y espacios especializados en divulgación; de lo contrario podría caerse en un modo de trivializar el conocimiento científico. El 60% del personal senior, afirmó que había ido a la feria porque se lo habían solicitado (desde la organización o desde la dirección de su centro de investigación).

Muy pertinente resulta también el trabajo de la Guía de valoración de la actividad de divulgación científica del personal académico e investigador, elaborada por el Grupo de Trabajo de Divulgación y Cultura Científica de la CRUE-I+D+i (Red Divulga), en colaboración con la FECYT (CRUE, FECYT, 2018CRUE Universidades Españolas y la Fundación Española para la Ciencia y la Tecnología (FECYT) (2018). Guía de valoración de la actividad de divulgación científica del personal académico e investigador. Madrid. CRUE-FECYT. Disponible en: https://www.crue.org/wp-content/uploads/2020/02/Guia-Valoración-Divulgación-Nov-VDEF.pdf ). Esta guía ofrece un modelo de evaluación de la actividad divulgativa del personal docente e investigador, con carácter individual, en potenciales valoraciones profesionales. Si bien este trabajo fue publicado con posterioridad al diseño y aplicación de los indicadores del CSIC analizados en el presente artículo, es interesante ver cómo coinciden la mayoría de los ítems a valorar, algo que interpretamos como un refuerzo de la pertinencia de los indicadores propuestos por el equipo de Cultura Científica del CSIC. En concreto, los ítems recogidos en la guía de evaluación de la CRUE y la FECYT son: 1) publicaciones y recursos, que englobarían libros, capítulos, artículos de divulgación, exposiciones y otros materiales; 2) medios audiovisuales e internet, que implican actividad como fuente informativa, en radio y televisión, blogs y redes sociales; 3) actividades interactivas, que incluyen iniciativas presenciales con público, cursos, conferencias, mesas, espectáculos y concursos; 4) premios y distinciones; 5) proyectos en convocatorias competitivas; y 6) otras actividades que no hayan sido contempladas en las clasificaciones anteriores. La guía establece una valoración relativa para cada ítem, pero no establece cuál debe ser el peso de cada una de las actividades, y deja esta decisión a criterio del organismo evaluador. También aconseja distinguir el grado de participación o desempeño de cada persona en cada actividad reseñada.

Por último, destaca el trabajo que ha venido realizando la FECYT en los últimos años. La FECYT creó un grupo de trabajo para la definición de indicadores que cristalizó en una encuesta que realiza desde 2013 y con periodicidad anual (inicialmente fue bienal) a todas las universidades, centros públicos de investigación y museos de ciencia. El CSIC responde en un único cuestionario con la actividad de sus centros y delegaciones territoriales, incluida la actividad de los centros de investigación que también actúan como museos: el Museo Nacional de Ciencias Naturales y el Real Jardín Botánico.

Los indicadores utilizados en la encuesta de la FECYT son: recursos económicos según su procedencia (propia, pública o privada), los proyectos solicitados y concedidos en convocatorias públicas (regionales, nacionales e internacionales), los recursos humanos (personal dedicado o participante en actividades de divulgación), el número de actividades, y el impacto (número de personas que asisten a las actividades). Se trata de una serie de indicadores esenciales y cuantitativos, e imprescindibles para permitir una comparativa a nivel nacional.

En resumen, todos estos trabajos sugieren definir unos indicadores que permitan una evaluación cuantitativa y cualitativa, y que midan una diversidad de variables como la financiación, los sistemas de evaluación, el personal dedicado a cultura científica, etc. Igualmente, los indicadores deberían incorporar la perspectiva de género.

Conviene resaltar que, si bien estos trabajos previos nos ayudaron a establecer unas líneas de análisis básicas, la realidad es que no hallamos ningún listado de indicadores que permitiera alcanzar los objetivos propuestos, por lo que fue necesario diseñar un sistema de evaluación nuevo. En este sentido, entendemos que el presente trabajo aporta una propuesta de indicadores que creemos podrían ser implementados por otras instituciones científicas ya que recogen la mayoría de los puntos señalados y coincidentes en otras propuestas similares y porque han sido diseñados para adecuarse a una realidad muy variada, como la que representa el CSIC.

2.2. Análisis del contexto

 

Tras la revisión bibliográfica, el siguiente paso fue estudiar el contexto de trabajo. Como hemos comentado anteriormente, el modelo de indicadores debía adecuarse a la compleja realidad del CSIC y ser comparable a los de otras instituciones similares.

En España, la primera vez que la divulgación entró a formar parte de la política científica fue en el Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica de 2000-2003. En 2001 se creó la FECYT, cuya misión, según se recoge en su página web, es catalizar «la relación entre la ciencia y la sociedad, impulsando el crecimiento de la cultura científica española y fomentando la transferencia de conocimiento a través de la divulgación, la educación, la formación, la información y el asesoramiento»2Fundación Española para la Ciencia y la Tecnología (FECYT), https://www.fecyt.es/es/info/presentacion (último acceso 15 de junio de 2022)..

Este punto de partida quedó reforzado con el Plan Integral de Comunicación y Divulgación de la Ciencia y la Tecnología que, aunque fue aprobado en 2006, se desarrolló con el Plan Nacional de I+D+i 2008-2011 para dar continuidad a los objetivos del Año de la Ciencia. De este Plan Integral surgieron, entre otros proyectos, los primeros cimientos para la creación de la Red de Unidades de Cultura Científica y de la Innovación (FECYT, 2015Fundación Española para la Ciencia y la Tecnología (FECYT) (2015). UCC+i: origen y evolución (2007-2014). Madrid. FECYT. Disponible en: https://www.fecyt.es/es/publicacion/ucci-origen-y-evolucion-2007-2014 ), coordinada por FECYT, y la Agencia SINC (Servicio de Información y Noticias Científicas).

Desde el punto de vista normativo destaca la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación, que sustituyó a la norma que estuvo vigente desde 1986, con el objetivo de adecuar la coordinación del sistema de investigación a un contexto autonómico e internacional. Otra importante diferencia con la ley precedente es que la de 2011 incluía entre sus objetivos generales el impulso de la cultura científica. Contiene un artículo completo, el 38, dedicado a la cultura científica y tecnológica. Según este artículo «las administraciones públicas fomentarán las actividades conducentes a la mejora de la cultura científica y tecnológica de la sociedad a través de la educación, la formación y la divulgación, y reconocerán adecuadamente las actividades de los agentes del Sistema Español de Ciencia, Tecnología e Innovación en este ámbito»3Boletín Oficial del Estado (2011), Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación. Disponible en: https://www.boe.es/buscar/pdf/2011/BOE-A-2011-9617-consolidado.pdf . La ley de 2011 está siendo reformada por un nuevo texto que enfatiza a su vez la cultura científica, la participación ciudadana y el acceso de colectivos con mayores barreras de acceso4 https://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/ciencia-e-innovacion/Paginas/2022/230622-aprobacion-ley-ciencia.aspx (último acceso 29 de julio de 2022)..

Toda esta filosofía propicia al fomento de la cultura científica quedaba también enmarcada en la Estrategia Nacional de Ciencia y Tecnología (ENCYT), que marca las directrices de los planes nacionales de investigación, y que, desde 2007, establece entre sus seis objetivos «disponer de las condiciones adecuadas para la difusión de la ciencia y la tecnología»5 FECYT (2007), Estrategia Nacional de Ciencia y Tecnología, disponible en: https://www.fecyt.es/es/publicacion/estrategia-nacional-de-ciencia-y-tecnologia (último acceso 15 de junio de 2022). a través de la creación de estructuras para la información científica y de formación a la sociedad, la creación de actividades y recursos para el público.

En este contexto, los Estatutos de la Agencia Estatal CSIC, aprobados a finales de 2007, reforzaron el compromiso institucional al incluir entre sus objetivos el fomento de la cultura científica y la colaboración en la actualización del conocimiento del profesorado de enseñanzas no universitarias. Para desarrollar esta misión, el CSIC creó una estructura dedicada exclusivamente al fomento de la cultura científica: la VACC, integrada en el comité de dirección y dependiente en el organigrama de la Vicepresidencia de Organización y Relaciones Institucionales, que depende a su vez de la Presidencia del CSIC. A partir de entonces comenzó a crear una red, todavía hoy inestable, de cultura científica compuesta por personal científico y técnico de los centros de investigación y coordinaciones territoriales, poniendo especial peso en las delegaciones autonómicas.

Desde la VACC siempre entendimos que, si bien es el deber del personal científico comunicar y compartir con la sociedad la investigación en la que trabaja, es deber de las instituciones científicas y de las administraciones públicas facilitar esta labor. En este sentido vimos necesario dotar de recursos económicos básicos y de estructuras de divulgación de apoyo, así como promover el acceso a una formación en comunicación, además de reconocer ese trabajo en los currícula. Cabe señalar que en estos momentos en el CSIC no existe ninguna norma que impida evaluar y valorar las actividades de divulgación de los investigadores e investigadoras, pero que se realice o no depende de los propios órganos de dirección.

La divulgación fue incluida como valor estratégico por primera vez en el Plan de Actuación (PA) del CSIC para el periodo 2006-2009. Se trataba de un objetivo que debía incorporarse a la actividad del propio CSIC. En el PA 2010-2013 se incorporó como una dimensión más en la estrategia particular de cada centro/instituto. Y no fue hasta el PA 2014-2017 cuando se introdujo entre los parámetros para contabilizar la Productividad por Cumplimiento de Objetivos (PCO) de los centros. Es decir, a partir de entonces fue considerada, junto a otros parámetros como la internacionalización, para valorar (y premiar con productividad) el trabajo del personal científico de los centros de investigación. Aunque el borrador del PA 2018-2021 supuso un paso atrás eliminándolo de los parámetros de la PCO, el equipo directivo que se hizo cargo del CSIC a finales de 2017, bajo la presidencia de Rosa Menéndez, volvió a incluirlo.

ConCiencia es la plataforma que ha creado el CSIC para recoger los indicadores de su personal científico y técnico, y en ella se pueden incluir los datos relativos a la divulgación. Estos datos son introducidos a nivel individual, están divididos en eventos y materiales, y contabilizan como cómputo numérico. Precisamente, uno de los objetivos del presente trabajo es que el modelo de indicadores pueda ser utilizado como sistema de evaluación en el marco de la PCO del CSIC, mejorando el actual sistema de Conciencia en este campo. De tal modo que estas tareas puedan contribuir y ser útiles en los concursos de promociones internas, procesos de petición y obtención de ayudas, prestigio de los centros, etc.

2.3. Diseño de un listado de indicadores para el fomento de la cultura científica

 

Los datos obtenidos en la primera encuesta promovida por la FECYT (lanzada en 2013 para el periodo 2011-2012) reflejaron una realidad parcial de la actividad del CSIC en cultura científica; esto se debió a una baja tasa de respuesta y a que, entre los que contestaron, faltaba información, especialmente relacionada con el número de actividades y con el público asistente. Los resultados mostraban que el CSIC hacía un importante esfuerzo, pero era evidente que no existía una cultura de evaluación en este campo. Fue necesario replantear el cuestionario y definir unos indicadores adecuados a la institución, sin perder la comparabilidad con otros organismos afines. Estos indicadores debían permitir abarcar la evaluación cuantitativa y la cualitativa. Los indicadores resultantes, que se pusieron a prueba a partir de 2014, fueron los siguientes:

2.3.1. La inversión económica en cultura científica diferenciada por fuentes de financiación: propia, ajena pública y ajena privada
 

A través de este indicador se puede medir no solo la inversión destinada a cultura científica y su estabilidad a lo largo del tiempo, sino también el esfuerzo de la propia institución o de los grupos, por conseguir financiación competitiva también a través de colaboraciones con otras entidades privadas. Es un indicador de fácil recopilación que además permite la comparabilidad.

En la encuesta se solicitaba indicar el gasto destinado a actividades de cultura científica codificado según la fuente del presupuesto:

  1. Fondos propios: aquellos que proceden del presupuesto de funcionamiento del CSIC (incluido el gasto del personal en jornada completa).

  2. Fondos ajenos públicos: financiación por medio de convenios, ayudas competitivas, encomiendas de gestión, patrocinios, mecenazgo, partidas presupuestarias de proyectos de investigación destinadas a divulgación, etc., procedentes de entidades públicas, regionales, nacionales e internacionales.

  3. Fondos ajenos privados: financiación externa a través de convenios, encomiendas de gestión, partidas presupuestarias de proyectos de investigación, etc., procedentes de entidades privadas.

2.3.2. El personal implicado en actividades de cultura científica, por grado de implicación y sexo
 

A través de este indicador se busca conocer la masa crítica dedicada a cultura científica que existe en una institución. El propio análisis de la realidad del CSIC muestra una variabilidad de implicaciones, por lo que este indicador debía recoger las diferentes maneras de participación por parte de los actores que diseñan y ejecutan las actividades de cultura científica y que se mide en función del tiempo de trabajo invertido. Se toma como referencia el concepto de Equivalencia de Jornada Completa (EJC), que representa el tiempo que dentro de una jornada de trabajo completa se destina al fomento de la cultura científica. O dicho de otro modo, qué porcentaje de la jornada laboral se destina a este fin (equivalencia). De este modo, el valor 1 sería la jornada completa, el valor 0,5, media y así sucesivamente. Este indicador también permite conocer la estabilidad (o no) de las estructuras o unidades dedicadas a la cultura científica dentro de la institución.

2.3.3. Número y tipo de actividades, presenciales y no presenciales
 

A través de este indicador se pretende obtener información cuantitativa (número de actividades por formato) y cualitativa. Los formatos se agrupan por similitudes en tiempo de trabajo invertido en el diseño y ejecución, y por el tipo de impacto, y evitar así un largo listado que impida un análisis global. Es decir, no es lo mismo el impacto, en número, del público que asiste a una conferencia, que el que va a un taller o a la presentación de un libro.

Las agrupaciones se han hecho basándonos en la experiencia de trabajo de la VACC del CSIC. Igualmente, se ha buscado establecer diferencias entre las actividades presenciales y las no presenciales, y resaltar el trabajo que se estaba desarrollando a través de redes sociales y otros medios virtuales. Las actividades presenciales indicadas en el cuestionario son: talleres; visitas guiadas o jornadas de puertas abiertas (JPA); conferencias; cine, teatro y espectáculos; cursos, formación y material didáctico en cultura científica6Hay que puntualizar que a partir de 2018 la FECYT solicita en su encuesta que se especifique el material didáctico producido, desagregándolo del resto de actividades formativas dirigidas a público no especializado. Sin embargo, a efectos de este artículo y para facilitar la comparativa de los datos, se ha sumado esta categoría dentro de su antiguo epígrafe (Cursos/formación/material didáctico, agrupado en las actividades presenciales).; exposiciones físicas; participación en actividades docentes de divulgación; participación en ferias de divulgación; rutas científicas; concursos de creación, y otras.

Las actividades no presenciales han sido agrupadas en: colaboraciones en medios de comunicación, producción de audiovisuales, páginas web, publicaciones impresas, producción de programas de radio, blogs, apps y otras. En cuanto a las redes sociales, se ha preguntado por Twitter, Facebook, YouTube, Instagram y otras. También se incluye una pregunta relativa a la actividad mediática, que mide tanto las notas de prensa como las noticias aparecidas en medios (impacto de la actividad periodística de los centros y delegaciones del CSIC).

Entendemos que el indicador relativo a las actividades debe permitir cierta flexibilidad para adaptarse a los nuevos formatos. Quizá por ello, es el indicador que más difícil ha sido de adaptar en los cuestionarios y que más modificaciones ha sufrido a lo largo de la puesta a prueba.

2.3.4. Impacto de público, presencial y no presencial
 

Mediante este indicador se busca conocer el número de personas a las que llegan las actividades realizadas, tanto si se trata de actividades presenciales como no presenciales (como publicaciones digitales y en papel, redes sociales, vídeos), al mismo tiempo conocer el tipo de público. Tras varias pruebas, se ha optado por diferenciar entre público general y público estudiante hasta el nivel de universidad. Hemos establecido el tope en la universidad, porque entendemos que a partir de entonces existe cierto grado de especialización y estamos hablando de otro tipo de públicos, igualmente interesantes de estudiar, pero que excedían los objetivos de nuestra encuesta.

2.4. Puesta a prueba de los indicadores

 

Hasta 2019, se han lanzado siete encuestas, contando con la inicial de la FECYT, que cubren nueve años de actividad en cultura científica. La encuesta se envía a todos los centros del CSIC, a sus delegaciones territoriales y las unidades horizontales de la organización central (como la VACC), a través de los listados oficiales de directores, gerentes y coordinaciones institucionales. En la siguiente tabla se pueden observar las oleadas y la tasa de respuesta sobre el total de centros del CSIC.

Tabla 1.  Cronología de las encuestas enviadas para los periodos de actividad de 2011 y 2019
Fechas de envío Total de cuestionarios recibidos Cuestionarios recibidos de delegaciones y unidades centrales (inclida la VACC) Tasa de respuesta sobre centros de investigación del CSIC
2011-2012 15 abril 2013 82 6 58,3%
2013 3 marzo 2014 95 9 65,2%
2014 23 febrero 2015 108 9 75%
2015 5 mayo 2016 96 8 77,1%
2016 11 mayo 2017 109 8 77,1%
2017 19 aril 2018 117 9 82,4%
2018 7 mayo 2019 122 11 84%
2019 22 septiembre 2020 127 13 86,3%

Elaboración propia. Fuente: CSIC.

A lo largo de los años se han realizado mejoras en la encuesta. Uno de los principales cambios, introducido en 2015, sobre la actividad de 2014, consistió en modificar el sistema de recogida de datos del impacto de las actividades (público) y frecuencia de las mismas, que se solicitaba por cada actividad. En las encuestas anteriores se había detectado una dificultad para recoger el impacto de las iniciativas que se realizaban. Con este cambio se esperaba mejorar el hábito de la evaluación de las actividades (recuento de las personas que acuden a ellas) y su recogida. Este cambio es importante también en relación con el público online, ya que hasta ahora este apenas se tenía en cuenta pese al trabajo que se hacía en redes sociales e internet en general. Otros cambios, que fueron introducidos a partir de los datos relativos a 2016, consistieron en agrupar las actividades de forma más intuitiva: por presenciales y no presenciales, y por otro lado las redes sociales. Las relacionadas con medios de comunicación también se separaron con el fin de distinguirlas de otras actividades. También se incorporó un campo de texto libre para recibir comentarios y sugerencias. Desde el punto de vista del formato, desde 2017 (datos de 2016) se utiliza un formulario online de la plataforma LimeySurvey (antes se usó word y pdf).

En la última encuesta, además de las delegaciones institucionales y los centros de investigación contestaron por primera vez tres departamentos de la organización central (Editorial CSIC, Unidad de Recursos de Información Científica para la Investigación y Departamento de Posgrado y Especialización). La tasa de respuesta sobre centros e institutos del CSIC fue del 86,3%, la más alta hasta el momento, lo que refuerza la validez de los datos obtenidos.

3. RESULTADOS

 

A continuación exponemos la evolución de los principales resultados de la encuesta. Entendemos que los resultados de las últimas encuestas, gracias a las mejoras introducidas en los cuestionarios y a un incremento de la cultura evaluadora en este campo, recogen mejor la realidad de la actividad en cultura científica del CSIC.

3.1. Inversión

 

Los resultados (gráfico 1) muestran que la inversión total se mantiene estable a lo largo de los años estudiados (en torno a los cuatro millones de euros, con un incremento hasta los cinco millones anuales en el periodo 2017-2019), si bien se aprecian variaciones en función de la procedencia de los fondos. Por un lado, se observa un incremento en los fondos ajenos privados entre los datos de 2011 y 2012 y los siguientes tres años. Sin embargo, en 2016 se produce un descenso en este apartado, que es compensado con recursos propios, volviendo a los niveles de 2015 en los tres años siguientes. Por el contrario, este apartado aumenta muy notablemente en 2017, estando la principal diferencia en un importante incremento de la inversión privada en actividades de divulgación captadas por el Museo Nacional de Ciencias Naturales. Así, y de la misma manera que sucedía en el caso de los recursos privados, los recursos ajenos públicos aumentan ligeramente en 2018 y disminuyen en 2019. El descenso en ambos recursos ajenos producidos en 2019, especialmente en el caso de los privados, hacen necesario observar si se trata de un hecho puntual o de una tendencia, ya que podría indicar un menor compromiso del sector empresarial con la divulgación de la ciencia. En el caso de los fondos propios, desde 2015, se mantienen estables en torno a los tres millones de euros.

Gráfico 1.  Evolución de la inversión económica en cultura científica en el CSIC
medium/medium-ARBOR-198-805-a667-gch1.png
Elaboración propia. Fuente: CSIC

3.2. Personal

 

En 2011 y 2012 se requerían dos tipos de datos respecto al personal: 1) el número de personas que en algún momento participaban en la organización o realización en actividades de divulgación; y 2) su dedicación en EJC. A partir de 2013 la encuesta pregunta también por el número de personas que trabaja con dedicación exclusiva en tareas de cultura científica. Pero la redacción de la pregunta no fue clara y hasta 2014 no se obtuvieron estos datos. Desde 2013 los datos relativos a personal se piden desagregados por sexos.

La tendencia a lo largo de los años (tabla 2) es que aumentan los valores de los tres indicadores. Crece especialmente en los años 2016, 2017 y 2018 el número de personas con dedicación plena, dato que podría deberse a la mayor contratación a través del programa europeo de fomento de empleo del Sistema Nacional de Garantía Juvenil. Pero hay que señalar que se trata de una contratación temporal, de carácter formativo, y sin continuidad.

En el caso del cómputo de las personas totales que han participado en actividades de divulgación, ha ido aumentando a lo largo del tiempo hasta superar las 3.000 en 2017 y permaneciendo estable en 2018 y 2019. Este dato es importante si se tiene en cuenta que, por ejemplo, en 2019 había contabilizadas 10.541 personas empleadas en el CSIC (5.180 mujeres y 5.381 hombres). Es decir que, según la encuesta, el 34% de su personal ha estado implicado en este tipo de actividades en algún momento del año.

Tabla 2.  Evolución del personal dedicado a e implicado en divulgación en el CSIC.
TABLA 2A 2011 2012 2013 2014
Dedicación plena Cultura Científica - - - 107
En equivalencia EJC 187,45 182,30 207,662 225,15
TOTAL PERSONAS 724 772 1.119 2.779
TABLA 2B 2015 2016 2017 2018 2019
Dedicación plena Cultura Científica 105 128 136 122 112
En equivalencia EJC 177,04 187,57 191,77 213,06 16,27
TOTAL PERSONAS 2.908 2.676 3.450 3.615 3.469

Elaboración propia. Fuente: CSIC.

Los datos de personal del CSIC en EJC, lo que podríamos llamar la masa crítica en divulgación, los podemos poner en relación con otras fuentes de datos, como por ejemplo con la plataforma de comunicación interna de la Red de Cultura Científica, en la intranet del CSIC donde, a fecha de enero de 2021, había registradas 445 personas.

Solo a partir del año 2014 se ha obtenido información suficiente desagregada por sexo (gráfico 2). Para el apartado de personas en régimen de dedicación completa, todos los centros y delegaciones han codificado el sexo. Según los resultados, hay notablemente más mujeres que organizan y coordinan actividades, concretamente un 70,5% del total, mientras que se aprecia bastante paridad en el número de personas que participan en alguna actividad de divulgación a lo largo del año (gráfico 3). En otras palabras: parece que existe una clara feminización de la profesión de la divulgación científica, mientras que la presencia visible de hombres y mujeres en las actividades es equilibrada. Entendemos que esta feminización se da también en el personal en EJC, ya que se nutre fundamentalmente de las personas con dedicación plena.

Gráfico 2.  Personal dedicado a cultura científica por sexo en el CSIC
medium/medium-ARBOR-198-805-a667-gch2.png
Elaboración propia. Fuente: CSIC
Gráfico 3.  Personal dedicado a cultura científica por sexo en el CSIC
medium/medium-ARBOR-198-805-a667-gch3.png
Elaboración propia. Fuente: CSIC

3.3. Actividades

 

La encuesta solicita información de las actividades organizadas por el centro o delegación. La evolución (gráfico 4) muestra un importante aumento del número de actividades realizadas, con la excepción de un ligero descenso en 2017. A nuestro criterio, esto se puede deber a varias razones, entre ellas: a) al aumento en el número de respuestas de la encuesta; b) a que cada vez, se recogen mejor las actividades bien por la experiencia de rellenar la encuesta o por el aumento de la cultura evaluadora; c) a que la divulgación está incluida en la PCO a partir del año 2014; y d) a que se duplican actividades o las que se recogen no son propiamente de divulgación.

Gráfico 4.  Evolución del número de actividades de divulgación en el CSIC
medium/medium-ARBOR-198-805-a667-gch4.png
Elaboración propia. Fuente: CSIC

Las actividades se reparten geográficamente en una proporción similar al número de centros del CSIC que hay en cada comunidad autónoma. Hay que tener en cuenta que la VACC realiza iniciativas para toda España, con lo que sus actividades no se pueden cuantificar regionalmente.

Los datos por tipo de actividad se han obtenido desde 2014. Los talleres, las conferencias/debates y las visitas guiadas/jornadas de puertas abiertas ocupan en todas las encuestas los primeros puestos, con incrementos anuales. En el apartado de otros sobre todo hay información relativa a actividades de coordinación, material audiovisual y estancias de estudiantes en laboratorios del CSIC. En cuanto al uso de las redes sociales, se puede apreciar un interesante aumento de las cuentas, con el fin de alcanzar nuevos públicos y desarrollar nuevas fórmulas de comunicación. En los gráficos 5 a 8gráficos 5, 6, 7, 8 podemos ver las actividades presenciales y no presenciales realizadas en el CSIC desde 2016; en ellos puede observarse un crecimiento continuo hasta el último año analizado, 2019.

Gráfico 5.  Actividades presenciales realizadas desde el año 2016 en el CSIC
medium/medium-ARBOR-198-805-a667-gch5.png
Elaboración propia. Fuente: CSIC
Gráfico 6.  Actividades no presenciales realizadas desde el año 2016 en el CSIC
medium/medium-ARBOR-198-805-a667-gch6.png
Elaboración propia. Fuente: CSIC
Gráfico 7.  Cuentas y perfiles en redes sociales existentes desde 2016 en el CSIC
medium/medium-ARBOR-198-805-a667-gch7.png
Elaboración propia. Fuente: CSIC
Gráfico 8.  Actividad en comunicación mediática de centros y delegaciones desde 2016 en el CSIC
medium/medium-ARBOR-198-805-a667-gch8.png
Elaboración propia. Fuente: CSIC

3.4. Público

 

La encuesta solicita la información sobre el público presencial de las actividades organizadas por el centro o delegación. A partir de 2013 se incorporaron dos novedades: 1) desagregación del tipo de público presencial entre público general y estudiantes (cuando no se ha especificado se ha interpretado como público general); y 2) información sobre público online (de actividades no presenciales y redes sociales) (gráfico 9).

Gráfico 9.  Evolución según el tipo de público presencial en el CSIC
medium/medium-ARBOR-198-805-a667-gch9.png
Elaboración propia. Fuente: CSIC

En relación a los datos obtenidos en actividades presenciales, estas tienen una audiencia de casi un millón y medio de personas. Siendo un dato muy positivo, podría estar sobredimensionado, bien porque no se haya realizado un adecuado seguimiento en cada una de las actividades, o bien podría ser incluso mayor, ya que en muchos de los casos los encuestados dejaron vacía esa casilla del cuestionario.

En relación al público online, las respuestas fueron inicialmente inapreciables. En 2015 se mejoraron los resultados, probablemente debido a una mayor conciencia del impacto que tienen las actividades en línea y de las mejoras introducidas en el cuestionario. Sin embargo, desde 2016 se produjo un incremento tan llamativo que consideramos este dato cuestionable, ya que se pasa de alcanzar 2 millones de personas en 2015 a 21 millones en 2019. Cuando se analizan los datos de forma individualizada se observa que las mayores audiencias se producen en tres tipologías: webs, blogs y colaboraciones en medios de comunicación y solo son unos pocos centros los que concentran casi todo el público en estas categorías. Es muy posible que, ante el desconocimiento del dato, la persona que cumplimenta la encuesta opte por sobrestimarlo. El objetivo es trabajar sobre este ítem para tomar medidas correctivas en futuras encuestas.

4. CONCLUSIÓN

 

La definición de unos indicadores de cultura científica adecuados a una institución compleja como el CSIC, que permitan su comparativa con otras organizaciones, ha requerido la puesta a prueba de dichos indicadores durante varias encuestas lanzadas a lo largo de siete años. Los primeros resultados mostraban que el CSIC realizaba un importante esfuerzo en el desarrollo de actividades, con inversión económica y en recursos humanos, pero con escasa actividad evaluadora. La continuidad de la encuesta como tal o integrada en una fórmula de recogida de datos institucional garantizará una imagen cada vez más realista de la actividad que se realiza en el CSIC en cultura científica.

Entre las principales conclusiones, destaca que el CSIC cuenta con una masa crítica más o menos estable de cerca de 200 personas que se dedican a tareas de cultura científica. Cada año se realizan alrededor de 15.000 actividades (presenciales y no presenciales) en las que se implican más de 3.000 trabajadoras y trabajadores del CSIC, si nos fijamos en las últimas encuestas. Es decir, el 34% del personal del CSIC se implica en actividades de divulgación en algún momento del año. Las actividades abarcan todo tipo de formatos, desde las tradicionales visitas guiadas y conferencias, hasta proyectos de desarrollo más profundo y a medio plazo, siendo las conferencias y los talleres los formatos más utilizados. Las encuestas indican que cada año se llega a cerca de un millón y medio de personas de manera presencial.

Para interpretar mejor los datos podemos compararlos con el contexto español. La FECYT publica desde 2019 un informe anual de la actividad recogida en las encuestas enviadas por las unidades de cultura científica de la red nacional. Hasta el momento de redactar este artículo habían realizado dos informes para los datos de 2017 y 2018. Tomando como ejemplo los datos de 2018 (FECYT, 2020Fundación Española para la Ciencia y la Tecnología (FECYT) (2020). Indicadores de actividad en Cultura Científica en España 2018. Madrid. FECYT. ), la FECYT recibió 113 respuestas de las cuales 8 eran organismos públicos de investigación, 27 museos y 78 universidades, que computaron 40.817 actividades totales realizadas en toda España, de las cuales al menos 11.431 actividades presenciales fueron aportadas por el CSIC7Cabe señalar que la FECYT tiene criterios propios para la compilación de las actividades que no coinciden ni con la totalidad ni con el detalle de lo que se solicita en la encuesta del CSIC, por lo que los datos del CSIC y la FECYT, siendo comparables, pueden diferir en función de los ítems que se tengan en cuenta. .

La inversión económica en cultura científica parece ser bastante estable, en torno a los cinco millones de euros, aunque varía la proporción según las fuentes de procedencia: algunos años es mayor la inversión a través de la colaboración con entidades privadas y otros aumenta la inversión procedente de otras instituciones públicas distintas del CSIC. La evolución de la inversión propia es relativamente estable.

Mientras la financiación no ha variado en los últimos tres años, sí se aprecia un aumento en el número de actividades, que bien puede deberse tanto a un mayor esfuerzo del personal del CSIC y eficiencia en la gestión económica, como a una mejora en la recogida de datos relativos a las actividades. Pero no se detecta una correlación necesaria entre la inversión propia y el mayor número de personas dedicadas en exclusiva a las actividades de cultura científica; quizá esto se deba a que no se esté recogiendo este gasto de forma adecuada dentro de la inversión propia.

Los datos desagregados por sexo muestran una alta feminización en la gestión profesional de actividades de cultura científica, mientras que en relación con la participación del personal científico y técnico en actividades de divulgación es bastante más equitativa; es decir, que se visibiliza públicamente por igual a hombres y mujeres en las actividades del CSIC. En este sentido, conviene recordar que, desgraciadamente, aquellas profesiones más feminizadas suelen estar peor reconocidas social y económicamente.

En relación con el público, creemos que sigue siendo un dato complejo de recoger por parte de los centros, especialmente el relacionado con el público no presencial, ítem sobre el que será necesario implementar mejoras especialmente en el contexto vivido a partir de la pandemia por la COVID-19.

A lo largo de los siete últimos años se ha mejorado la recogida de datos y la cultura evaluadora en el ámbito de la comunicación social de la ciencia dentro del CSIC. Consideramos que en la mejora de la respuesta y de los datos puede haber sido decisivo el hecho de que el Plan de Actuación del CSIC para el periodo 2014-2017 introdujera la cultura científica entre los parámetros que computan en la PCO de los centros. La renovación en 2018 de un equipo directivo del CSIC favorable a estas actividades también ha favorecido un clima propicio para la recogida de datos.

A partir de 2016 se ha perfeccionado la encuesta, si bien para muchos centros sigue siendo complicado reunir todas las actividades que se realizan, ya que muchas se hacen de manera individual. En todo caso, cabe destacar que para la recogida de datos ha sido determinante diferenciar entre actividades presenciales y no presenciales. Además, la incorporación de un espacio abierto para sugerencias ha contribuido a la mejora la encuesta.

El incremento en las últimas encuestas en la tasa de respuesta, que alcanza el 86,3% en la última, nos permite sacar dos conclusiones: 1) el alto compromiso de los centros con la cultura científica y su disposición a compartir resultados; y 2) la consistencia de los últimos datos, ya que una gran proporción de los centros encuestados se han limitado a responder el formulario.

Igualmente, los resultados de la encuesta permiten afirmar que cada vez está más claro qué son actividades de cultura científica y qué no. En este sentido, la conclusión que obteníamos tras las primeras encuestas, relacionada con la falta de cultura científica y de cultura evaluadora en la institución, creemos que ha cambiado.

La encuesta muestra que el CSIC hace un gran esfuerzo en su labor divulgadora, de compleja organización, pero debe seguir mejorando el modo de evaluarla y difundirla. Entendemos que el CSIC debería incorporar un sistema de recogida de datos que permita cuantificar mejor esta actividad. El primer paso podría ser integrar los indicadores en la plataforma institucional ConCiencia. Esto permitiría ver reflejada esta realidad en la PCO de los centros. En este sentido, desde hace unos años la VACC está trabajando con el resto de equipos directivos para acordar una fórmula común al conjunto de la institución.

En resumen, el CSIC ha logrado institucionalizar la cultura científica dentro de su misión global y generar un volumen de actividades muy representativo a nivel nacional, si bien cabe mejorar la cultura evaluadora a través de estrategias y compromisos firmes institucionales.

AGRADECIMIENTOS

 

Los resultados incluidos en el presente artículo han sido posibles gracias al apoyo institucional del CSIC y la colaboración del personal científico, técnico y de gestión de todo el organismo, así como de todas las unidades horizontales del CSIC. Además, se ha contado con la colaboración y las aportaciones de colegas del Área de Cultura Científica, especialmente de Carmen Guerrero, Mónica Lara y Eduardo Alegre, y a Martín García por sus diseños. Igualmente, queremos agradecer los valiosos comentarios de Ana Victoria Pérez, gerente de la Fundación 3CIN en la Universidad de Salamanca, y de Jesús Rey e Irene López, investigadores del Centro de Ciencias Humanas y Sociales del CSIC, que han contribuido a enriquecer los cuestionarios y el análisis. Gran parte del presente trabajo constituyó el contenido del trabajo de fin de máster de Laura Ferrando González en el Máster en Cultura Científica y de la Innovación, de la Universidad de Oviedo (curso 2017/2018). En este sentido, queremos agradecer las aportaciones sugeridas por los miembros del tribunal del trabajo de fin de máster: David Alvargonzález Rodríguez, Jorge Rodríguez Marqueze y Marta I. González García. Por último y no por ello menos importante, queremos agradecer muy especialmente el apoyo y las contribuciones del tutor de dicho trabajo, José Antonio López Cerezo.

NOTAS

 
1

Centro Nacional de Coordinación para la Participación Pública del Reino Unido (NCCPE): https://www.publicengagement.ac.uk/about-engagement/what-public-engagement (último acceso febrero de 2021).

2

Fundación Española para la Ciencia y la Tecnología (FECYT), https://www.fecyt.es/es/info/presentacion (último acceso 15 de junio de 2022).

3

Boletín Oficial del Estado (2011), Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación. Disponible en: https://www.boe.es/buscar/pdf/2011/BOE-A-2011-9617-consolidado.pdf

4

https://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/ciencia-e-innovacion/Paginas/2022/230622-aprobacion-ley-ciencia.aspx (último acceso 29 de julio de 2022).

5

FECYT (2007)Fundación Española para la Ciencia y la Tecnología (FECYT) (2007). Estrategia Nacional de Ciencia y Tecnología 2008-2015. Disponible en: https://www.ciencia.gob.es/stfls/MICINN/investigacion/FICHEROS/Encyt.pdf , Estrategia Nacional de Ciencia y Tecnología, disponible en: https://www.fecyt.es/es/publicacion/estrategia-nacional-de-ciencia-y-tecnologia (último acceso 15 de junio de 2022).

6

Hay que puntualizar que a partir de 2018 la FECYT solicita en su encuesta que se especifique el material didáctico producido, desagregándolo del resto de actividades formativas dirigidas a público no especializado. Sin embargo, a efectos de este artículo y para facilitar la comparativa de los datos, se ha sumado esta categoría dentro de su antiguo epígrafe (Cursos/formación/material didáctico, agrupado en las actividades presenciales).

7

Cabe señalar que la FECYT tiene criterios propios para la compilación de las actividades que no coinciden ni con la totalidad ni con el detalle de lo que se solicita en la encuesta del CSIC, por lo que los datos del CSIC y la FECYT, siendo comparables, pueden diferir en función de los ítems que se tengan en cuenta.

REFERENCIAS

 

Ambruster-Domeyer, Heidi; Hermansson, Karin y Modeer, Camilla (2011). Samverkan-Public Engagement. International review, analysis and proposals on indicators for measuring public engagement. VA Report. Stockholm.

Bauer, Martin W.; Allum, Nick y Miller, Steve (2007). What can we learn from 25 years of PUS survey research? Liberating and expanding the agenda. Public Understanding of Science, 16: 79-95. https://doi.org/10.1177/0963662506071287

Cámara Hurtado, Montaña; Muñoz van den Eynde, Ana y López Cerezo, José Antonio (2018). Attitudes towards science among Spanish citizens: The case of critical engagers. Public Understanding of Science, 27 (6): 690-707. https://doi.org/10.1177/0963662517719172

CRUE Universidades Españolas y la Fundación Española para la Ciencia y la Tecnología (FECYT) (2018). Guía de valoración de la actividad de divulgación científica del personal académico e investigador. Madrid. CRUE-FECYT. Disponible en: https://www.crue.org/wp-content/uploads/2020/02/Guia-Valoración-Divulgación-Nov-VDEF.pdf

Daza-Caicedo, Sandra et al. (2017). Hacia la medición del impacto de las prácticas de apropiación social de la ciencia y la tecnología: propuesta de una batería de indicadores. Historia, Ciências, Saúde-Manguinhos, 24 (1): 145-164. https://doi.org/10.1590/s0104-59702017000100004

European Science Foundation (2013). Science in Society: caring for our futures in turbulent times. Science Policy Briefing, ESF.

Fundación Española para la Ciencia y la Tecnología (FECYT) (2015). UCC+i: origen y evolución (2007-2014). Madrid. FECYT. Disponible en: https://www.fecyt.es/es/publicacion/ucci-origen-y-evolucion-2007-2014

Fundación Española para la Ciencia y la Tecnología (FECYT) (2018). Guía básica para la evaluación de proyectos de cultura científica de FECYT. Madrid. FECYT. Disponible en: https://www.fecyt.es/es/publicacion/guia-basica-para-la-evaluacion-de-proyectos-de-cultura-cientifica-de-fecyt.

Fundación Española para la Ciencia y la Tecnología (FECYT) (2020). Indicadores de actividad en Cultura Científica en España 2018. Madrid. FECYT.

Fundación Española para la Ciencia y la Tecnología (FECYT) (2007). Estrategia Nacional de Ciencia y Tecnología 2008-2015. Disponible en: https://www.ciencia.gob.es/stfls/MICINN/investigacion/FICHEROS/Encyt.pdf

Godin, Benoît y Gingras, Yves (2000). What is scientific and technological culture and how is it measured? A multidimensional model. Public Understanding of Science, 9: 43-58. https://doi.org/10.1088/0963-6625/9/1/303

Hart, Angie; Northmore, Simon; y Gerhardt, Chloe (2009). Briefing paper: auditing, benchmarking and evaluating public engagement. Bristol (UK). National Coordinating Centre for Public Engagement Research.

Jensen, Pablo y Croissant, Yves (2007). CNRS researchers’ popularizations activities: a progress report. Journal of Science Communication 6 (3). Disponible en: http://jcom.sissa.it. https://doi.org/10.22323/2.06030201

Jensen, Pablo (2011): A statistical picture of popularization activities and their evolutions in France, Public Understanding of Science, 20 (1): 26-36. https://doi.org/10.1177/0963662510383632

López Cerezo, José Antonio (2017). Comprender y comunicar la ciencia, Madrid. Los libros de la Catarata.

Martín-Sempere, María José; Garzón-García, Belén y Rey-Rocha, Jesús (2008). Scientitsts’ motivation to communicate science and technology to the public: surveying participants at the Madrid Science Fair. Public Understanding of Science, 17 (3): 349-367. https://doi.org/10.1177/0963662506067660

Neresini, Federico y Bucchi, Massimiano (2011). Which indicators for the new public engagement activities? An exploratory study of European research institutions. Public Understand. Sci 20 (1): 64-79. https://doi.org/10.1177/0963662510388363

Ojeda-Romano, Graciela y Fernández-Marcial, Viviana (2017). Universidades y promoción de la cultura científica: propuesta de indicadores para un análisis de las actividades de divulgación desde las Unidades de Cultura Científica e Innovación. Bibliotecas. Anales de investigación, 13 (2): 133-157.

Vargiu, Andrea (2014). Indicators for the evaluation of public engagement of higher education institutions. Journal of the Knowledge Economy, 5 (3): 562-584. https://doi.org/10.1007/s13132-014-0194-7