1. INTRODUÇÃO
⌅Em 24 de março de 2016, pela Resolução do Conselho de Ministros n. 21/20161 Ver https://dre.pt/application/file/a/74094338, consultado em 2020-08-28., o governo de Portugal, através do Ministério da Ciência, Tecnologia e Ensino Superior (MCTES), anunciou o compromisso da ciência com os princípios e práticas da Ciência Aberta (CA). Para o cumprimento desse propósito, assume-se que o conhecimento produzido através de financiamento público deve estar disponível em acesso aberto. O acesso à ciência e ao conhecimento é, conforme os princípios orientadores publicados em Ciência Aberta, «O conhecimento é de todos e para todos»2 Ver https://www.ciencia-aberta.pt/principios-orientadores, consultado em 2020-08-28., indispensável a uma sociedade mais informada e mais consciente do mundo que habita, contribuindo para a tornar mais humana, mais justa e mais democrática, uma sociedade onde o bem-estar seja partilhado por todos. A mesma resolução mandata o MCTES a criar um grupo de trabalho interministerial com a missão de apresentar uma proposta de plano estratégico para a implementação de uma Política Nacional de Ciência Aberta, na linha com os principais objetivos de: a) Elaborar um diagnóstico sobre o estado atual das práticas de CA em Portugal; b) promover o debate público em torno das problemáticas associadas à CA; c) identificar as melhores práticas em torno da CA e desenvolver programas de sensibilização; d) definir indicadores com o objetivo de promover uma transição monitorizada e transparente para a CA. Este grupo de trabalho estruturou-se em quatro grandes áreas e correspondentes subgrupos - acesso aberto e dados abertos, infraestruturas e preservação digital, avaliação científica e responsabilidade social científica. Esta iniciativa governamental está a par de outros países e da própria Comissão Europeia. Nesse mesmo ano, 2016, a Comissão Europeia referia-se à CA como uma «visão para a Europa», estabelecendo como metas para a política europeia, pelo então comissário para a ciência e inovação, Carlos Moedas, os pilares em que devia assentar: «Open Innovation, Open Science e Open to the World» (European Commission, 2016European Commission (2016). Open innovation, open science, open to the world: A vision for Europe. Publications Office of the European Union.).
2. METODOLOGIA
⌅2.1. Enquadramento e objetivos
⌅Pretende-se apresentar neste artigo o conjunto de recomendações que o subgrupo de avaliação científica identificou como fundamentais para a implementação de práticas de CA3 A composição deste grupo de trabalho foi a seguinte: Lígia Maria Ribeiro (Universidade do Porto; coordenadora), Maria Manuel Borges (Universidade de Coimbra; relatora), Ana Sanchez (Fundação para a Ciência e Tecnologia), Diana Silva (Politécnico do Porto), Nuno Lima (Universidade Nova de Lisboa), Karin Wall (Universidade de Lisboa) e Inês Fonseca (Fundação para a Ciência e Tecnologia). . Estas recomendações dirigem-se ao conjunto de partes interessadas no processo de avaliação da ciência, desde os agentes políticos às entidades produtoras, avaliadoras e financiadoras de ciência.
A questão da abertura dos resultados da investigação está intimamente ligada ao processo de avaliação da investigação, o qual envolve um conjunto de atores diversificado: investigadores individuais, grupos de investigação, unidades de investigação, universidades, particularmente afetadas pelos rankings, e até mesmo aos países. A utilização de indicadores quantitativos nos processos de avaliação da ciência, muito particularmente o Journal Impact Factor (JIF), influi profundamente sobre a sua disseminação e enviesa a leitura dos resultados ao confundir o conteúdo com o contentor. É precisamente essa problemática que o Manifesto de Leiden (Hicks et al., 2015Hicks, Diana; Wouters, Paul; Waltman, Ludo; de Rijcke, Sarah y Rafols, Ismael (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520 (7548): 429-431. Woutersdoi:10.1038/520429a)4 Ver http://www.leidenmanifesto.org/, consultado em 2020-08-28. e a consegue realizar5 Mencionam-se estes manifestos pela sua adesão internacional aos quais se juntam outros mais recentes como, por exemplo, Declaración de Sant Joan d’Alacant en Defensa del Acceso Abierto a las Publicaciones Científicas, del Grupo de Editores de Revistas Españolas Sobre Ciencias de la Salud (GERECS). http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1135-57272018000100300 .
Examinam-se metodologias de avaliação científica utilizadas em países europeus, bem como recomendações neste domínio emanadas de organismos como a European University Association (EUA)6 Página disponível na https://eua.eu/ , uma associação que representa mais de oito centenas de instituições de ensino superior em 48 países europeus. No que se refere a Portugal, analisa-se e discute-se a integração de práticas de CA nos modelos de avaliação científica, aos níveis micro (docentes, investigadores, grupos de investigação), meso (instituições de I&D, instituições de ensino superior) e macro (país), considerando os diferentes propósitos a que se destina (e.g., a contratação, a promoção, a melhoria de qualidade, a ampliação da translação do conhecimento científico para a sociedade e as empresas). A concluir, apresentam-se propostas de recomendações -envolvimento dos diferentes atores intervenientes, utilização e aplicação de métricas, práticas institucionais e sistemas informacionais de suporte-, visando contribuir para uma adequada transição para processos de avaliação científica que tenham crescentemente em consideração os princípios e as práticas da CA.
2.2. Fontes de dados e procedimentos
⌅Para a realização deste trabalho recorreu-se à recolha e análise de documentos acessíveis na web, provenientes de instituições e organismos envolvidos nos processos de avaliação científica, e ao conhecimento e experiência nesta matéria de cada um dos membros do subgrupo, procurando-se obter uma compreensão medianamente abrangente das práticas de CA na Europa e, muito especialmente, em Portugal, no contexto da avaliação científica. Por exemplo, procurou-se identificar, em planos estratégicos e planos anuais de atividades web de Instituições de Ensino Superior (IES), bem como nos seus regulamentos de contratação de pessoal docente e investigador e regulamentos de prémios de excelência científica, parâmetros de avaliação que se pudessem enquadrar nos princípios da CA. Também, os principais rankings universitários, que condicionam as regras da contratação e da promoção dos docentes e investigadores, mereceram uma reflexão sobre o que é medido, os indicadores utilizados, o modo como são calculados, bem como sobre o seu significado e as suas limitações.
3. AVALIAÇÃO CIENTÍFICA NA EUROPA
⌅3.1. Comissão Europeia
⌅A Comissão Europeia assume atualmente políticas claras de valorização da CA, cada vez mais integradas com os processos de avaliação de investigação.
Os beneficiários de financiamento Europeu no âmbito do Programa H2020 devem garantir o acesso aberto (AA) a todas as publicações científicas sujeitas a revisão por pares. O AA a publicações requer o depósito imediato da versão final ou da versão publicada num repositório e a acessibilidade à versão depositada logo que possível. O incumprimento das obrigações explicitadas no Model Grant Agreement para os diversos instrumentos de financiamento pode levar a uma redução do financiamento atribuído.
No H2020, a partilha de dados abertos teve uma fase experimental. Os candidatos puderam optar por participar num Programa Piloto de Acesso Aberto a Dados de Investigação, o que implicou a apresentação de um plano de gestão de dados que explicite quais dos dados gerados serão partilhados. A participação, ou não, neste programa piloto não teve qualquer efeito na avaliação da candidatura.
Tal como no H2020, os termos do Model Grant Agreement do European Research Council (ERC) tornam obrigatório o AA a publicações científicas. O acesso a publicações deve ser assegurado através do depósito em repositório. Durante o tempo do projeto, os custos com publicações são elegíveis e os investigadores são encorajados a ter em conta essa eventual despesa nos seus orçamentos. O princípio da partilha de dados é encorajado pelo ERC e os investigadores podem, de forma individual e voluntária, optar por participar no programa piloto de partilha de dados do H2020.
Em 2016, com o objetivo de promover o desenvolvimento e implementação de políticas de CA na Europa, a Comissão Europeia cria o Open Science Policy Platform Group7 Ver https://ec.europa.eu/research/openscience/index.cfm?pg=open-science-policy-platform, consultado em 2020-08-28., cuja ação se perspetiva também no domínio da adaptação à CA dos modelos de prémios e avaliação de investigação. Considerando que a aplicação generalizada de práticas de CA só se concretizará se estas forem integradas nos processos de avaliação, é priorizada a criação do Working Group on Rewards under Open Science8 Ver https://ec.europa.eu/research/openscience/index.cfm?pg=rewards_wg, consultado em 2020-08-28.. Este grupo apresenta um conjunto de recomendações para a integração efetiva de práticas de CA na avaliação dos investigadores, propondo, nomeadamente, o modelo de avaliação Open Science Career Assessment Matrix (OS-CAM) (Working Group on Rewards under Open Science - European Commission, 2017Working Group on Rewards under Open Science - European Commission. (2017). Evaluation of Research Careers fully acknowledging Open Science Practices Rewards, incentives and/or recognition for researchers practicing Open Science. Luxembourg: Publications Office of the European Union. https://doi.org/10.2777/75255 )9 A questão complexa da multidimensionalidade da ciência deve ser tida em conta. Veja-se a este propósito, o capítulo 3 de Moed (2017)Moed, Henk F. (2017). Applied Evaluative Informetrics. Berlin: Springer...
Na mesma linha de ação, cria-se o Expert Group on Altmetrics, no âmbito do qual se publica o documento Next-generation metrics: Responsible metrics and evaluation for open science, onde se identificam as vantagens das métricas alternativas, bem como as suas limitações e problemas estruturais (Wilsdon et al., 2017Wilsdon, James R.; Bar-Ilan, Judit; Frodeman, Robert; Lex, Elisabeth; Peters, Isabella y Wouters, Paul (2017). Next-generation metrics: Responsible metrics and evaluation for open science - European Commission Expert Group on Altmetrics. Luxembourg: Publications Office of the European Union. https://doi.org/10.2777/337729). Este documento apresenta uma proposta de métricas de nova geração, com base nos pressupostos de que um modelo de avaliação alinhado com práticas de CA deverá ser desenvolvido considerando a arbitragem científica, complementada com indicadores quantitativos, a transparência e o rigor, a melhor utilização de métricas já existentes, a medição do que «realmente importa», e o suporte de infraestruturas abertas e interoperáveis.
Em 2018 são publicadas as recomendações que resultam do trabalho desenvolvido pelo grupo Open Science Policy Platform (European Commission, 2017European Commission (2017). Open Science Policy Platform Recommendations. Publications Office of the European Union. https://doi.org/https://doi.org/10.2777/958647). Considerando que para que a CA seja uma realidade terá que estar integrada em todas as práticas de investigação, mediante uma perspetiva de transparência e responsabilidade transversal a todas as partes, para além das recomendações gerais, está presente um conjunto de recomendações prioritárias no sentido do cumprimento das ambições de CA, organizadas em oito áreas. Duas das áreas prioritárias identificadas correspondem aos Prémios e Incentivos e aos Indicadores e Métricas de Investigação, nas quais são genericamente encorajadas políticas que promovam uma valorização formal das práticas CA nos processos de avaliação e nos incentivos à investigação, perspetivando designadamente uma maior abrangência dos indicadores utilizados e uma atitude de transparência nesses processos.
No sentido da perceção da complexidade inerente ao processo de avaliação científica, no contexto evolutivo da ciência, em 2019 é divulgado pela Comissão Europeia o relatório Indicator Frameworks for Fostering Open Knowledge Practices in Science and Scholarship (Wouters et al., 2019Wouters, Paul; Ràfols, Ismael; Oancea, Alis; Kamerlin, Shina C.; Holbrook, J. Britt y Jacob, Merle (2019). Indicator Frameworks for Fostering Open Knowledge Practices in Science and Scholarship. Publications Office of the European Union. https://doi.org/10.2777/445286) que visa estabelecer uma estrutura de indicadores para a CA que facilitem uma real transição para um sistema de avaliação da investigação mais aberto e inclusivo. Considerando não ser possível definir apenas indicadores genéricos para aferir práticas de investigação no âmbito da CA, são apresentadas várias estruturas de indicadores, nas quais são especificadas as condições em que cada indicador deve ser usado (Wouters et al., 2019Wouters, Paul; Ràfols, Ismael; Oancea, Alis; Kamerlin, Shina C.; Holbrook, J. Britt y Jacob, Merle (2019). Indicator Frameworks for Fostering Open Knowledge Practices in Science and Scholarship. Publications Office of the European Union. https://doi.org/10.2777/445286).
3.2. Agências de financiamento
⌅Tal como a Comissão Europeia, a maioria das agências de financiamento na Europa reforça o AA através da obrigatoriedade de depósito de publicações. Ao fazer incidir a obrigação sobre o depósito mantém-se a liberdade dos investigadores na seleção das revistas, permitindo escolher as mais consideradas na sua área científica, independentemente de serem revistas de subscrição ou de AA imediato. Alguns países europeus, como a Alemanha, a França e a Polónia, têm políticas de AA que não obrigam ao depósito das publicações - o depósito é realizado de forma voluntária e/ou alternativamente à publicação em revistas de AA.
Muitas agências financiadoras com políticas de obrigatoriedade de depósito das publicações valorizam o AA na avaliação, através da contabilização exclusiva das publicações depositadas, com ou sem AA imediato, nos relatórios finais pós-financiamento (Alemanha) ou, em alguns casos, para a atribuição de novo financiamento, por exemplo considerando apenas estas publicações nas candidaturas, como é o caso do Wellcome Trust no Reino Unido. Em 2018 esta agência define uma nova política de AA que se aplicará a todos as publicações submetidas a partir de janeiro de 2020. Entre outras, importa destacar três linhas definidas para a investigação financiada: (i) todos os artigos de investigação financiados, total ou parcialmente, pela agência devem ser depositados na PubMed Central e na sua correspondente europeia aquando da sua publicação, devendo adotar uma licença Creative Commons (CC-BY); (ii) não serão suportados quaisquer custos de publicação em revistas híbridas e (iii) a avaliação dos resultados da investigação para efeitos de financiamento deve ter em conta o mérito intrínseco do trabalho e não a revista ou a editora na qual foi publicado. Este compromisso deve ser tornado público pelas organizações financiadas através da assinatura da Declaração de S. Francisco sobre a avaliação da investigação (DORA), o Manifesto de Leiden ou uma iniciativa semelhante.
A Comissão Europeia fez da transição para o AA uma prioridade, o que tem influenciado a agenda dos financiadores de ciência que, em número crescente, analisam a possibilidade de alcançar 100% de AA até 2020. Em setembro de 2018, a cOAlition S10 Ver https://www.coalition-s.org/, consultado em 2020-08-28., um consórcio de entidades financiadoras de ciência, lança, com o apoio da Science Europe e da Comissão Europeia, o chamado Plan S (Accelerating the transition to full and immediate Open Access to scientific publications (Plan S), 2018Accelerating the transition to full and immediate Open Access to scientific publications (Plan S) (2018). cOAlition S. https://www.scienceeurope.org/wp-content/uploads/2018/09/Plan_S.pdf ). Este plano determina o AA, completo e imediato de todas as publicações financiadas por estas entidades, a partir de 1 de janeiro de 2020. São excluídas desta obrigatoriedade os livros e monografias por se reconhecer que pode ser necessário um tempo mais longo para o cumprimento destes objetivos. O Plan S surge, em grande parte, da perceção das entidades financiadoras de que o AA imediato é a forma mais adequada de assegurar o maior impacto socioeconómico possível dos resultados dos projetos de I&D que financiam, bem como a transferência efetiva de conhecimento para a indústria.
3.3. European University Association
⌅A European University Association (EUA) tem desenvolvido atividade relevante e assumido posições e recomendações claras relativamente à definição de políticas de AA por parte das IES, à implementação e gestão de infraestruturas digitais, à disponibilização de publicações em AA e, mais recentemente, de uma forma mais abrangente, em relação à adoção de práticas conducentes à CA, nomeadamente nos modelos de avaliação científica.
A constituição de um grupo de trabalho para a CA, o Expert Group on Science 2.0/Open Science11 Ver https://eua.eu/about/working-groups.html, consultado em 2020-08-28., tem a perspetiva de proporcionar apoio efetivo às IES ao nível dos vários desafios relacionados com a Agenda Digital da União Europeia12 Ver https://ec.europa.eu/digital-single-market/, consultado em 2020-08-28., nomeadamente o AA a publicações e dados. Em 2015 foi publicado o EUA’s Open Access checklist for universities: a practical guide on implementation, que disponibiliza informações acerca do tema, bem como recomendações dirigidas às IES e de investigação. Destaca-se a referência à necessidade de estabelecer mecanismos de motivação para o cumprimento das políticas, nomeadamente a ligação clara entre o cumprimento das políticas de AA e a avaliação de docentes e investigadores (European University Association, 2015European University Association (2015). EUA ’s Open Access checklist for universities: a practical guide on implementation. Bruxelas: European University Association. http://www.eua.be/Libraries/research/open-access-report_v3.pdf?sfvrsn=0 ). A valorização de práticas relacionadas com a CA ao nível dos modelos de avaliação científica é bem patente na contribuição da EUA no âmbito da consulta pública efetuada pela Comissão Europeia, Science 2.0’: Science in Transition. No tema «Implicações da Ciência Aberta para a sociedade, a economia e o sistema de investigação» e em resposta, em concreto, à questão sobre qual o tipo de política que deverá ser aplicada ao nível institucional, sugere-se, como fator essencial, uma postura de diálogo entre os vários stakeholders, com foco em algumas das questões críticas, como a permanência prejudicial de sistemas de reconhecimento científico em muitas das IES que continuam a basear a aferição de impacto exclusivamente em indicadores quantitativos com uma ênfase excessiva no JIF. Em fevereiro de 2016 é divulgado o EUA Roadmap on open access to research publications, enunciado como um primeiro passo numa série de iniciativas da EUA no sentido de identificar e desenvolver orientações ao nível das várias implicações da CA para as IES, tais como dados abertos, licenciamento e copyright, novos modelos de avaliação e aferição da qualidade dos resultados da investigação. A implementação de sistemas de avaliação e reconhecimento científico flexíveis e transparentes por parte das IES europeias, com recurso a métricas complementares e o foco na avaliação qualitativa é um dos objetivos identificados para três anos (European University Association, 2016European University Association (2016). EUA Roadmap on Open Access to research publications. Bruxelas: European University Association. http://www.eua.be/Libraries/publications-homepage-list/eua-roadmap-on-open-access-to-research-publications.pdf?sfvrsn=8 ).
Em 2017, a EUA vem reforçar as suas recomendações neste domínio, com a publicação do relatório Towards Full Open Access in 2020: aims and recommendations for university leaders and National Rectors’ Conferences, perspectivando que a transição para o AA deve ser agilizada por vários meios de forma a ser atingida em 2020. Identifica-se como essencial a mobilização dos investigadores para a prática do AA, recomendando-se a implementação de um sistema de incentivos e prémios a par do desenvolvimento de programas de formação e divulgação efetivos destinados aos investigadores. Destaca-se igualmente a criação de meios de avaliação qualitativa que complementem a avaliação quantitativa, bem como a promoção de políticas claras por parte das IES relativamente à gestão de dados de investigação, especificamente na adoção dos princípios FAIR (Findable, Acessible, Interoperable and Reusable)13 Ver https://www.go-fair.org/fair-principles/, consultado em 2020-08-28. . Aponta-se ainda a atenção a dar a contratos com editores, recomendando-se que prevejam custos de publicação e licenças abertas para autores e que permitam o depósito de versões dos artigos em repositórios institucionais (European University Association, 2017aEuropean University Association (2017a). Towards Full Open Access in 2020 Aims and recommendations for university leaders and National Rectors’ Conferences. European University Association. https://eua.eu/resources/publications/417:towards-full-open-access-in-2020.html ). No mesmo ano, o documento Towards Open Access to Research Data Aims and recommendations for university leaders and National Rectors’ Conferences on Research Data Management and Text and Data Mining, estabelece um conjunto de recomendações específicas nas áreas da gestão de dados de investigação e data mining, pelo facto de se considerar que estas áreas se encontram ainda num nível básico de implementação na Europa (European University Association, 2017bEuropean University Association (2017b). Towards Open Access to Research Data Aims and recommendations for university leaders and National Rectors’ Conferences on Research Data Management and Text and Data Mining. European University Association. https://eua.eu/resources/publications/414:towards-open-access-to-research-data.html ). Em concreto aborda-se a importância de as instituições assumirem um papel ativo ao estabelecerem redes formais e informais com outras estruturas nacionais no sentido de definirem políticas que facilitem a gestão de dados, em linha com as Guidelines on FAIR Data Management in Horizon 202014 Informação disponível na: https://ec.europa.eu/research/participants/docs/h2020-funding-guide/cross-cutting-issues/cross-cutting-issues_en.htm, consultado em 2020-08-28.. Na sequência destas recomendações a EUA apresenta o Statement on Open Science to EU Institutions and National Governments, com propostas de ações às instituições da União Europeia e aos governos nacionais para um desenvolvimento mais célere da CA (European University Association, 2017cEuropean University Association (2017c). EUA Statement on Open Science to EU Institutions and National Governments. European University Association. https://eua.eu/resources/publications/412:eua-statement-on-open-science-to-eu-institutions-and-national-governments.html ).
Em 2018, o Roadmap on Research Assessment in the Transition to Open Science procura fomentar uma mudança efetiva nas abordagens utilizadas pelas IES na avaliação da investigação, para uma maior focalização na dimensão qualitativa e integração de práticas de CA (European University Association, 2018European University Association (2018). EUA Roadmap on Research Assessment in the Transition to Open Science. European University Association. https://eua.eu/resources/publications/316:eua-roadmap-on-research-assessment-in-the-transition-to-open-science.html ).
4. A AVALIAÇÃO DA CIÊNCIA EM PORTUGAL
⌅Em Portugal, desde 5 de maio de 2014 que o AA de publicações científicas resultantes de projetos financiados é adotado pela Fundação para a Ciência e Tecnologia (FCT)15 Ver https://www.fct.pt/documentos/PoliticaAcessoAberto_Publicacoes.pdf, consultado em 2020-08-28., que igualmente recomenda o AA de dados de investigação16 Ver https://www.fct.pt/documentos/PoliticaAcessoAberto_Dados.pdf, consultado em 2020-08-28.. No entanto, apesar de o AA ser mencionado no guia para os avaliadores de projetos, não está refletido nos critérios de avaliação. O mesmo se passa com outras dimensões da CA, como a disseminação, que estando contempladas, não estão refletidas nos critérios de avaliação, sendo o impacto económico o único indicador aferido neste contexto.
No que se refere à avaliação de desempenho docente, efetuou-se uma análise de regulamentos institucionais publicados em Diário da República. Observa-se que não incluem qualquer referência a indicadores que promovam a publicação em revistas de AA ou o depósito de publicações em repositórios institucionais ou temáticos, embora a publicação de notícias na comunicação social e de documentos públicos (white-papers) seja por vezes valorizada, o que poderá enquadrar-se, de alguma maneira, nos pressupostos da CA. Nos últimos anos, várias IES em Portugal têm divulgado as suas políticas de AA. Tipicamente, determina-se que os docentes e investigadores devem depositar no repositório institucional uma cópia digital de todos os artigos de revistas científicas, comunicações a congressos, conferências e outros textos científicos, que constem dos seus currículos e dos relatórios de atividades dos centros de investigação. De relevar que a interligação dos repositórios locais com o repositório nacional de AA (Repositório Científico de Acesso Aberto em Portugal - RCAAP17 Ver https://www.rcaap.pt/, consultado em 2020-08-28.) permite a pesquisa integrada da produção científica do País.
Apesar de Portugal estar na linha da frente do AA no que se refere a publicações científicas, pode dizer-se que não existe ainda um alinhamento entre o que é determinado em termos regulamentares na avaliação de desempenho docente e o requerido em muitas das políticas de AA institucionais, ainda que existam casos em que se utiliza apenas o repositório, ou outro suporte equivalente (e.g., um sistema de informação), como fonte a utilizar nos processos de avaliação de desempenho docente.
Em planos estratégicos, planos de atividades e planos de ação que algumas IES publicam na web18 Foram analisados conteúdos de planos estratégicos e planos de ação de várias IES disponíveis na web. As pesquisas foram realizadas no ano de 2017., observa-se, genericamente, que o aumento do impacto da investigação é um aspeto valorizado, destacando-se como ponto comum a necessidade de reforçar a visibilidade e o impacto da investigação, em alguns casos com especificação de atividades previstas nessa dimensão. Alguns dos exemplos apontam para atividades como: a implementação de um sistema de avaliação de base anual dos investigadores, associado a um sistema de incentivos, em função dos resultados obtidos; o desenvolvimento de iniciativas integradas de investigação, em articulação com estratégias de desenvolvimento regional; o aumento da visibilidade da investigação realizada, desenvolvendo em especial ações específicas de disseminação e demonstração; o atrair e reter os investigadores que se destacam nas atividades de investigação científica, de criação cultural ou de desenvolvimento tecnológico, bem como nas atividades de divulgação científica e de valorização económica e social do conhecimento. Em alguns dos documentos analisados referem-se objetivos ou ações ligadas ao estabelecimento ou reforço de indicadores para avaliação baseados nas métricas tradicionais, não estando presente quaisquer referências a meios alternativos para a aferição do impacto da investigação ou valorização de práticas de CA. Apenas em casos pontuais se faz referência a políticas de AA ou ao depósito em repositórios e à sua relevância na promoção da visibilidade da investigação. A mesma ausência verifica-se em regulamentos institucionais de prémios de excelência científica e de investigação.
5. RECOMENDAÇÕES E CONCLUSÃO
⌅Sendo reconhecida a forte influência que a avaliação científica tem no desenvolvimento e na melhoria das atividades de investigação, a valorização de práticas de CA nos processos de avaliação científica poderá ser determinante para alterar o panorama atual de adoção e generalização da CA. As propostas de recomendações do subgrupo de avaliação científica, tendo por base o estudo realizado, procuram contribuir para uma adequada transição para processos de avaliação científica que tenham crescentemente em consideração princípios e práticas da CA.
Para a desejada transparência e consensualização dos procedimentos a adotar para a integração de práticas de CA na avaliação científica considera-se essencial o envolvimento dos vários agentes intervenientes. É com este desígnio que o primeiro conjunto de recomendações, dirigido para os agentes políticos, se foca na ampla auscultação dos intervenientes, para melhor conhecer de que forma as diferentes vertentes da CA são percecionadas e estão a ser incorporadas nos processos de avaliação científica. Propõe-se, assim, a realização de um conjunto de entrevistas individuais, pela via presencial, a um grupo de entidades com responsabilidades neste domínio (FCT; Conselho de Reitores das Universidades Portuguesas e Conselho Coordenador dos Institutos Superiores Politécnicos; Associação Portuguesa das Instituições de Ensino Superior Privado; Agência de Avaliação e Acreditação do Ensino Superior; Agência Nacional de Inovação), bem como a realização de inquéritos, na forma de questionários online, a múltiplos intervenientes no seio da comunidade académica e de investigação (e.g., coordenadores de unidades de investigação da FCT; docentes; investigadores; bolseiros de investigação; estudantes de doutoramento). Algumas das questões do questionário proposto procuram evidenciar que a CA é mais do que o AA e que a aproximação da ciência à sociedade é um dos seus objetivos. De facto, o questionário, para além de servir como auscultação da comunidade, tem a vantagem adicional de ser um potencial instrumento de sensibilização.
Também, para dar visibilidade e estimular a prática da CA, recomenda-se que seja instituído um prémio para docentes e investigadores que valorize as vertentes da qualidade da investigação, da prática da CA e da transmissão e cocriação de conhecimento.
Em articulação com as ações prioritárias identificadas pela EUA, recomenda-se a criação de um Observatório Nacional da CA, com os principais objetivos de (1) apoiar a realização de iniciativas de CA em Portugal, em ligação com os vários intervenientes neste domínio, (2) monitorizar o cumprimento de políticas e mandatos institucionais e nacionais de AA e CA, (3) divulgar e recomendar boas práticas de CA, e (4) participar em organizações e iniciativas nacionais e internacionais em ligação com a CA. Em particular, a criação de um ranking universitário nacional de CA permitirá dar visibilidade e reconhecer as instituições que se destaquem na adoção de atitudes e práticas de CA. Por outro lado, a análise da evolução do posicionamento das instituições nos diversos rankings poderá permitir identificar eventuais implicações da CA na valorização da investigação, influenciando a sua adoção. As bases de sustentação do modelo da CA devem igualmente merecer continuado escrutínio, em particular numa altura em que os modelos de publicação estão em fase de profunda mudança e longe da estabilização.
Visando sobretudo uma maior sensibilização das instituições relativamente à importância da harmonização da informação e a padronização de métricas para uma análise comparativa de universidades no domínio da investigação, sugere-se ainda a criação de um grupo de trabalho constituído por IES portuguesas para participar no Snowball Metrics Exchange Service, integrado na iniciativa internacional Snowball Metrics19 Ver https://www.snowballmetrics.com/, consultado em 2020-08-28. (Clements, Darroch, & Green, 2017: 11-18Clements, Anna; Darroch, Peter y Green, John (2017). Snowball Metrics - providing a robust methodology to inform research strategy - but do they help? Procedia Computer Science, 106 11-18. https://doi.org/10.1016/j.procs.2017.03.003).
Para as entidades produtoras, avaliadoras e financiadoras de ciência, recomenda-se que em qualquer processo de avaliação científica os indicadores quantitativos, quando utilizados, sejam sempre entendidos como complementares do processo de avaliação qualitativa realizada por especialistas nas áreas disciplinares e que as práticas da área disciplinar e o contexto em que se realiza a avaliação científica orientem a escolha do conjunto de métricas a utilizar, que deverá ser abrangente e significante, no sentido de ser multifacetado e ser claramente apreendido o significado estatístico dos dados utilizados. Por outro lado, recomenda-se que os procedimentos adotados sejam claros e transparentes para os avaliados, que devem ter acesso aos dados, à semântica subjacente e às fórmulas de cálculo que tenham sido utilizados. Com efeito, a transparência -definição clara de regras e critérios- é um dos princípios básicos da avaliação científica. Esta é útil se for exigente, fiável e construtiva, na observância de boas práticas e adotando procedimentos consensualizados em que a comunidade científica e a sociedade em geral tenham confiança. Não constitui um fim em si mesma, sendo indispensável garantir, em todos os processos de avaliação e também quando se procura introduzir um princípio novo (e.g., a CA), que este seja transparente e consensual na sua aplicação e que contribua para o desenvolvimento e melhoria das atividades científicas e da sua gestão estratégica, principal propósito da avaliação por pares. Em concordância com os princípios da DORA (2012)DORA (2012). The San Francisco Declaration on Research Assessment (DORA). USA: American Society for Cell Biology (ASCB). http://www.ascb.org/dora/files/SFDeclarationFINAL.pdf e do Manifesto de Leiden (Hicks et al., 2015Hicks, Diana; Wouters, Paul; Waltman, Ludo; de Rijcke, Sarah y Rafols, Ismael (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520 (7548): 429-431. Woutersdoi:10.1038/520429a), recomenda-se o envolvimento das partes interessadas, não só na fase de definição dos indicadores quantitativos, que eventualmente possam contribuir para complementar a avaliação qualitativa, como também no escrutínio e atualização periódica desses indicadores, atendendo a potenciais efeitos sistémicos gerados pelo próprio sistema de avaliação, no sentido de evitar distorções indesejáveis.
Atendendo ao interesse especial das métricas alternativas (altmetrics), não só no contexto da avaliação do impacto societal da investigação, como também na avaliação de outros resultados da investigação, que não são geralmente abrangidos pelas métricas atuais, recomenda-se considerar a adoção destas métricas complementares nos processos de avaliação científica, utilizando fornecedores e agregadores de dados que tenham adotado o código de conduta para a qualidade de dados das altmetrics da NISO ( 2016)National Information Standards Organization (NISO) (2016). Outputs of the NISO Alternative Assessment Project. Baltimore, MD: NISO. http://www.niso.org/apps/group_public/download.php/17091/NISO%20RP-25-2016%20Outputs%20of%20the%20NISO%20Alternative%20Assessment%20Project.pdf . A utilização de métricas padronizadas é recomendada. De facto, ainda que os processos de avaliação científica tenham necessariamente que levar em consideração realidades muito distintas, por exemplo em termos de objetivos, metodologias e processos, e sejam realizados por entidades igualmente muito diversificadas, o que é por vezes mencionado em desfavor da utilização de métricas e classificações padronizadas20 Ver https://www.researchtrends.com/issue-39-december-2014/standardizing-research-metrics-and-indicators/, consultado em 2020-08-28., há uma inegável vantagem para todos os intervenientes na partilha de experiências e na criação de conhecimento que favoreça a adoção de metodologias robustas e de boas práticas de avaliação científica. A padronização não implica uniformização, que não é realizável, nem desejável, mas sim a capacidade de comparar o que é de facto comparável, permitindo às instituições a realização rigorosa de exercícios de análise comparativa nas áreas e nas vertentes específicas de I&D que sejam do seu interesse.
Enfatiza-se a importância de considerar nos processos de avaliação científica os vários resultados da ciência, além das publicações científicas, e de alinhar as políticas de CA, aos níveis europeu, nacional e institucional, estabelecendo uma ligação clara entre o cumprimento das políticas de CA e a avaliação científica. Em particular, recomenda-se promover a inclusão de planos de gestão de dados nas candidaturas a projetos de I&D financiados, inicialmente sem efeito na classificação, mas sujeitos a comentários dos avaliadores, e a inclusão de critérios que valorizem o impacto da investigação para além da comunidade científica.
A articulação e o alinhamento de critérios entre as agências de financiamento da ciência e as agências de avaliação e acreditação de ciclos de estudo, bem como a incorporação e valorização de práticas de CA nos regulamentos institucionais das IES, são essenciais. Com base na análise realizada neste trabalho, pode inferir-se que os regulamentos das IES relativos a processos que envolvem a avaliação do desempenho científico não contemplam explicitamente a valorização de práticas de CA, mesmo as que adotam políticas de AA. Recomenda-se por isso, a incorporação e valorização de práticas de CA nos regulamentos institucionais, na vertente de avaliação do desempenho científico, por exemplo nos processos de contratação de docentes e investigadores e na avaliação de desempenho docente.
Por último, recomenda-se considerar apenas as publicações depositadas em repositórios institucionais, ou em sistemas congéneres, nos processos de contratação de docentes e investigadores e na avaliação de desempenho docente, e as publicações depositadas em AA, mesmo que sob embargo temporário, nos relatórios finais de projetos de I&D e nas candidaturas a financiamento. Não se recomenda a valorização da publicação em revistas em AA, uma vez que esta opção acarreta falhas sistémicas semelhantes às geradas pelo fator de impacto nas revistas de assinatura.
Para suportar as recomendações acima apresentadas, não é esquecido o apoio a iniciativas que visem contribuir para uma CA «justa», identificando modelos adequados e sustentáveis para a publicação e a comunicação científicas, bem como o reforço do apoio de proximidade e a formação nesta temática aos docentes e investigadores, muito especialmente aos estudantes de doutoramento e bolseiros de investigação, a realizar por serviços com competências específicas nestas áreas.
É ainda particularmente enfatizada a necessidade de promover uma maior interoperabilidade entre sistemas informáticos, para diminuir obstáculos ao registo da informação e permitir a criação de serviços de valor acrescentado tanto para docentes e investigadores, como para avaliadores e gestores de ciência, no caminho que permita realizar o desejável princípio Only Once na gestão da investigação. Este princípio visa que os docentes e investigadores registem uma só vez a informação sobre os resultados da sua investigação e estes sejam disseminados automaticamente de acordo com as necessidades que se colocam tanto ao nível interno à instituição, como ao nível externo (e.g. agências financiadoras), respeitando a legislação e a regulamentação em vigor, em particular as regras aplicáveis de proteção de dados.
O trabalho realizado veio reforçar a perceção da quase inexistência de integração de práticas de CA na avaliação científica, quer no panorama nacional, quer internacional. O conjunto de recomendações apresentadas visa contribuir para a efetiva integração de práticas de CA na avaliação científica, o que, no nosso entender, poderá ter um papel de relevo para a endogeneização dessas práticas no desenvolvimento de atividades de ciência, com os benefícios inerentes para esta e para a sociedade em geral.