Suositukset ja julistukset

Viimeisen vuosikymmen aikana on julkaistu suuri määrä erilaisia julistuksia ja suosituksia, joilla pyritään edistämään julkaisumetriikan vastuullista käyttöä ja tutkijan sekä tutkimuksen vastuullista arviointia.

Jyväskylän yliopisto on useiden muiden suomalaisten yliopistojen ja tutkimusorganisaatioiden tavoin allekirjoittanut DORA julistuksen ja sitoutunut noudattamaan kansallista vastuullisen tutkijanarvioinnin suositusta.

Vastuullisen tutkijanarvioinnin kansallinen suositus

Keväällä 2020 julkaistiin kansallinen suositus tutkijan arviointiin (Tutkijanarvioinnin hyvät käytännöt. Vastuullisen tutkijanarvioinnin kansallinen suositus). Suositut on laadittu yksittäisen tutkijanarvioinnin näkökulmasta, mutta samat periaatteet soveltuvat hyvin myös suurempia joukkoja arvioitaessa. Suosituksen keskeisimmät periaatteet ovat: läpinäkyvyys, integriteetti, tasapuolisuus, pätevyys ja monimuotoisuus.

Kansallisessa suosituksessa annetaan ohjeistusta arviointiprosessin eri osa-alueisiin: arviointiprosessin rakentamiseen, tutkimuksen arviointiin, tutkijan tehtävien monimuotoisuuden tunnistamaan ja tutkijan osallistamiseen arviointiprosessissa. Suositukseen sitoutuneiden tutkimusorganisaatioiden edellytetään tekevän omat ohjeet suosituksen toimeenpanemiseksi ja toteutumisen seuraamiseksi.

Osana kansallista suositusta on myös suositus vastuullisen metriikan käytöstä. Tämä sisältää 9 kohtaa, joiden avulla voidaan varmistua julkaisumetriikan käytön vastuullisuudesta. Suosituksen mukaan julkaisumetriikkaa voidaan käyttää tukena arvioinneissa, mutta pääpaino tulisi olla laadullisella asiantuntija-arvioinnilla. Tärkeää on, että julkaisumetriikka perustuu arvioinnin kannalta relevanttiin dataan ja niin tulosten kuin analyysimenetelmien suhteen toimitaan avoimesti ja läpinäkyvästi.

DORA-julistus

DORA -julistus (San Francisco Declaration on Research Assessment) antaa ohjeistukia vastuullisen julkaisumetriikan käyttöön niin organisaatioille, rahoittajille, tutkijoille, kuin muillekin tutkimuskentän toimijoille. Keskeisin sanoma on, ettei lehtiperusteista julkaisumetriikkaa tulisi käyttää yksittäisen tutkimusartikkelin laadun arvioimiseen, kun arvioidaan yksittäisen tutkijan tieteellisiä ansioita. Tutkimusorganisaatioille ohjeistuksessa mm. kehoitetaan määrittelemään rekrytointi-, urapolku- ja ylennyspäätösten kriteerit avoimesti ja selkeästi, sekä huomioimaan arvioinnissa kaikki tutkimustuotokset. Tutkijoita DORA kehoittaa viittaamaan aina alkuperäiskirjallisuuteen, jolloin kunnian työstä saa se kenelle se kuuluu. Lisäksi tutkijoiden tulisi osallistuessaan rahoituksesta, rekrytoinneista tai urapoluista päättäviin arviointeihin perustaa arviointinsa tieteellisiin sisältöihin eikä julkaisumetriikkaan.

Leidenin manifesti

Leidenin tutkimusmetriikkamanifesti sisältää kymmenen periaatetta, joita tulisi noudattaa suoritettaessa tutkimuksen arviointia. Nämä periaatteet ovat:

  • Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia
  • Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon
  • Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta
  • Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja yksinkertaisia
  • Anna arvioitaville mahdollisuus tarkistaa data ja analyysit
  • Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä
  • Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadullisen tarkasteluun
  • Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta
  • Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset
  • Tutki ja päivitä mittareita säännöllisesti

The Metric Tide

The Metric Tide (eng.) ei ole vain suositus, vaan se on myös laaja selvitys metriikan käytöstä tutkimuksen arvioinnissa ja hallinnossa. Suosituksen pääperiaatteet ovat:

  • datan kattavuus
  • nöyryys (ymmärrettävä menetelmien rajoitukset)
  • läpinäkyvyys
  • tieteenalojen erot huomioiva monimuotoisuus 
  • reflektiivisyys