Tutkimuksen arvioinnin palvelut ammattikorkeakoulukirjastoissa

Tutkimuksen arvioinnin palvelut ovat tulossa AMK-kirjastoihin. Mitä nämä palvelut ovat ja miten niissä käytettäviä menetelmiä voisi hyödyntää ammattikorkeakouluissa. Keväällä tehty kartoitus kuvaa tämän hetken tilannetta AMK-kirjastoissa.

Kirjastojen rooli tutkimuksen arvioinnissa

Kirjastojen tuottamat tutkimuksen arvioinnin menetelmät ovat pääsääntöisesti infometriikan ja bibliometriikan alaan kuuluvia analyysejä. Tutkimus- ja tiedehallinnossa, esim. Opetus- ja kulttuuriministeriössä ja Suomen Akatemiassa, on käytetty bibliometriikkaa jo useiden vuosien ajan. (Forsman 2016, 100-103). OKM kerää julkaisutietoa yliopistoista, ammattikorkeakouluista, yliopistosairaaloista ja tutkimuslaitoksista sekä hyödyntää Web of Science- ja Scopus-tietokantojen raakadataa analyyseissään (Sandgren 2017).

Myös yliopistoissa on hyödynnetty bibliometriikkaa osana tutkimuksen arviointia. Yliopistokirjastot ovat käyttäneet sitä oman toimintansa arvioinnissa ja suunnittelussa (esim. kokoelmatyössä). Lisäksi yliopistokirjastot ovat tarjonneet bibliometrisia palveluja tiedeyhteisölle. Tyypillisiä yksittäistä tutkijaa tai tutkimusryhmää tukevia palveluja ovat olleet viittausanalyysit tutkijoiden omiin julkaisuihin ja julkaisuanalyysit parhaan julkaisukanavan löytämiseksi. Tutkimus- ja henkilöstöhallintoa varten kirjastot ovat tehneet bibliometrisiä analyyseja monenlaisiin tarpeisiin: tutkimuksen arviointiin, rekrytointiin, tulospalkkaukseen ja tulosneuvotteluin jne. (Forsman 2016, 104-109.)

Bibliometriikka

Bibliometriikka-käsite ymmärretään usein kattokäsitteeksi erilaisille julkaisujen tilastollisille analyyseille. Sillä tarkoitetaan julkaisujen mittaamista. Mitata voidaan tiedon tuottajia, tuotteita (julkaisuja), käsitteitä sekä lähteitä ja viittauksia, nykyään myös tiedon jakamista. (Forsman 2016, 37.)

Bibliometrisillä menetelmillä etsitään tekijöitä, jotka kuvaavat tutkimuksen tilaa ja siinä tapahtunutta kehitystä. Menetelmillä voidaan havaita, jos tutkijoiden ja tutkimusalojen välillä on yhteyksiä, esimerkiksi yhteisjulkaisuja ja viittauksia samoihin julkaisuihin ja tutkijoihin. (Forsman 2016, 37.)

Määrään perustuvia tunnuslukuja ovat mm. julkaisujen ja viittausten kokonaismäärät sekä julkaisujen ja viittausten määrä tutkijaa kohden. Laatua pyritään kuvaamaan mm. viittausten suhteellisella määrällä. Tieteellisten lehtien laatua kuvaavia indikaattoreita ovat mm. vaikuttavuuskerroin/viittauskerroin ja julkaisufoorumiluokitus. (Forsman 2016, 37.)

Yleinen bibliometrinen menetelmä on viittausanalyysi (citation analysis). Sen avulla tutkitaan, mitkä teokset tai ketkä tutkijat ovat saaneet huomiota eli viittauksia. Lähdeaineistona käytetään yleensä viittaustietokantoja (Web of Science, Scopus ja Google Scholar). Viittausanalyysissa voidaan selvittää, mitkä julkaisut saavat nopeasti viittauksia, keitä ovat eniten viitatut tutkijat tai mitkä ovat eniten viitatut tekstit/tutkimukset. Menetelmää käytetään esimerkiksi yliopistojen ja tutkimuslaitosten toiminnan arvioinnissa. (Forsman 2016, 54-56.)

Altmetriikka

Altmetriikka on ”laaja-alainen käsite, joka kuvaa tutkimuksessa syntyvän digitaalisen aineiston saamaa vastaanottoa tietoverkon avoimissa palveluissa” (Tutkimuksen tuen ja hallinnon verkosto.) Altmetriikka kuvaa tutkijan ja hänen tutkimustuotostensa (julkaisut, ohjelmistot ja tutkimusdata) näkyvyyttä ja käyttöä ei-perinteisillä foorumeilla. Tyypillisesti altmetriikka mittaa näkyvyyttä tieteellisessä ja sosiaalisessa mediassa.  (ATT-vaikuttavuusselvitysryhmän raportti 2015, 28.) Altmetriikan merkitys ja mahdolliset käyttötarkoitukset riippuvat käyttäjien – kustantajien, tutkijoiden ja organisaatioiden – näkökulmasta (Sandgren 2017).

Altmetriikan mittareissa voidaan huomioida käyttöaste, kaikki aineiston hyödyntäminen ei ole samanarvoista vaan siihen vaikuttaa esimerkiksi hyödyntäjän osallistumisen aste. Esimerkki jaottelusta osallistumisasteen perusteella:

• Katselu (viewing)    

• Tallennus /merkintä (saving/bookmarking/capture)

• Keskustelu / maininta / kommentointi (discussion/mention)

• Suosittelu (recommendation)

• Viittaus (citation). (ATT-vaikuttavuusselvitysryhmän raportti 2015, 28.)

Datametriikka

Datametriikalla tarkoitetaan infometriikan alaa, joka tutkii tutkimusdataa (Laine 2018, 8). Forsmanin (2016, 163) mukaan info(r)metriikka tarkoittaa tieteellisen tiedon välityksen tutkimista matemaattisin ja tilastollisin menetelmin. Jos tutkimusdata arkistoidaan niin, että se on löydettävissä ja käytettävissä, voidaan myös analysoida tähän dataan viittaamista (Forsman 2016, 135). Olennaista on tunnistaa tutkimusdata yksilöidysti ja soveltaa yhtenäisiä viittauskäytäntöjä. (Laine 2018, 11-12.) Kehittämällä dataviittauskäytäntöjä tutkijat ja tutkimusryhmät saavat viittauksia ja tunnustusta työstään. Hyvät viittauskäytännöt tuovat datan helpommin löydettäväksi, jolloin sen käytettävyys parantuu ja tämä taas tuo lisää viittauksia tutkimusdatan tuottajille. (Ala-Kyyny 2018.)

Palvelut ammattikorkeakoulukirjastoissa

Ammattikorkeakoulukirjastojen tarjoamista tutkimuksen arviointiin liittyvistä bibliometrisistä palveluista ei löytynyt samalla tavalla tietoa kuin yliopistokirjastoista. Tarve selvittää AMK-kirjastojen tilannetta nousi Tampere3-kirjastojen Tutkimuksen arvioinnin palvelut -projektissa. Siinä oli tarkoitus kartoittaa nykyiset tutkimuksen arvioinnin palvelut Tampereen ammattikorkeakoulussa (TAMK), Tampereen teknillisessä yliopistossa (TTY) ja Tampereen yliopistossa (TaY) sekä tehdä ehdotus tulevasta palvelukokonaisuudesta uudelle yliopistolle (Tampere3 Tutkimuksen arvioinnin palvelut -projektin projektikuvaus).  

Ehdotuksen tueksi projektissa perehdyttiin nykyiseen palvelutarjontaan kaikissa kolmessa korkeakouluyhteisön kirjastossa. Tämän lisäksi perehdyttiin muutamiin muissa organisaatioissa, lähinnä suomalaisissa yliopistoissa ja ammattikorkeakouluissa, tarjottuihin tutkimuksen arvioinnin palveluihin.

Palvelukysely ammattikorkeakoulukirjastoille

Tampere3 Tutkimuksen arvioinnin palvelut -projektiin liittyneen benchmarking-kierroksen jälkeen heräsi kiinnostus kartoittaa laajemmin ammattikorkeakoulukirjastojen tilannetta. Kysymykset lähetettiin huhti-toukokuussa sähköpostitse kaikkiin AMK-kirjastoihin (25 kpl).   

Vastauksia saatiin kesäkuun alkuun mennessä seuraavista kirjastoista (13 kpl): Arcada, Centria ammattikorkeakoulu, Diakonia-ammattikorkeakoulu, Humanistinen ammattikorkeakoulu (HUMAK), Kaakkois-Suomen ammattikorkeakoulu (XAMK), Karelia-ammattikorkeakoulu, Laurea-ammattikorkeakoulu, Metropolia Ammattikorkeakoulu, Saimaan ammattikorkeakoulu/Lappeenrannan tiedekirjasto, Satakunnan ammattikorkeakoulu, Turun ammattikorkeakoulu, Vaasan ammattikorkeakoulu/Tritonia ja Yrkeshögskolan Novia/Tritonia. Kun näihin lisätään Tampereen ammattikorkeakoulu (TAMK), vastaajia oli 14.

Kysymykset:

• Teettekö bibliometrisia analyyseja korkeakoulun tarpeisiin? Jos niin minkä tyyppisiin? (esim. rekrytointi, rahoitushakemukset, toiminnan arviointi)

• Seuraatteko korkeakoulun tavoitteiden toteutumista? Minkälaisia indikaattoreita seuraatte?  

• Onko korkeakoulussanne tehty tutkimuksen arviointia? Oletteko osallistuneet tutkimuksen arvioinnin prosesseihin?

• Miten altmetriikka tai datametriikka näkyy kirjaston toiminnassa?  

Kysymysten avulla oli tarkoitus kartoittaa, mitä kirjastojen mahdollisesti tarjoamat bibliometriset palvelut olisivat ja mitä ammattikorkeakoulun toimintaa ne palvelisivat. Kyselyllä saatiin myös kuvaa AMK-kirjastojen yhteydestä ammattikorkeakoulun toiminnan arviointiin ja ohjaukseen.

Bibliometriset analyysit ammattikorkeakouluissa

Yhdessäkään kyselyyn vastanneista ammattikorkeakoulukirjastosta ei ole tehty bibliometrisia analyyseja korkeakoulun tarpeita varten. Kahdessa kirjastossa oli keskusteltu yksittäisten tutkijoiden kanssa tutkijaprofiileista, artikkeleiden näkyvyydestä ja julkaisujen laadusta. Kysymykseen kommentoitiin ammattikorkeakoulujen ja yliopistojen eroista osuvasti: ”Ei ole useinkaan kannattavaa arvioida esim. rekrytoinnissa, miten tieteellisesti meritoituneita hakijat ovat, kun esim. toiminta työelämässä ja kehittämisverkostoissa on merkittävämpi kriteeri.” Muutama vastaaja kertoi, ettei kyseiseen AMK-kirjastoon ole hankittu WoS tai Scopus -tietokantoja. Vuonna 2018 vain kolme AMK-kirjastoa on hankkinut Web of Science -tietokannan ja Scopusta ei yksikään. Yhteiskirjastoissa kuten Tritonia ja Lappeenrannan tiedekirjasto tilanne on tietysti erilainen.

Korkeakoulun tavoitteiden seuraaminen   

Tämä kysymys oli valitettavan monimerkityksellinen, eikä ohjannut vastaamaan siihen, mitä tarkoitettiin. Tarkoitus oli selvittää, onko kirjastolla toimeksiantoa seurata korkeakoulun tavoitteiden toteutumista ja raportoida niitä korkeakoululle.

Seitsemän kirjastoa vastasi, ettei seuraa tai kerää tietoja korkeakoulun tavoitteiden toteutumisesta. Kuudessa ammattikorkeakoulussa Opetus- ja kulttuuri ministeriölle kerättävien julkaisutietojen keruu kuului kirjaston tehtäviin. Yhdestä vastauksesta ei selvinnyt, oliko kirjastolla roolia tietojen keräämisessä. Useammassa vastauksessa kerrottiin, että kirjastossa seurataan aktiivisesti oman organisaation tavoitteiden toteutumista. Näistä yleensä johto tai joku muu vastuutaho raportoi koko organisaatiolle ja siten myös kirjastolle. Avoimen tieteen ja tutkimuksen palvelut ja niiden koordinointi ovat joissain ammattikorkeakouluissa tulleet kirjaston vastuulle tai kirjastolla on niissä rooli, näin ainakin Laurean-ammattikorkeakoulun, Turun ammattikorkeakoulun ja Tampereen ammattikorkeakoulun kirjastoissa.

Kirjaston rooli tutkimuksen arvioinnissa?

Tutkimuksen arvioinnin prosessista kysyttäessä kaikissa vastauksissa kerrottiin, ettei kirjasto ole ollut mukana siinä. Monessa yliopistossa käytettyä kansainvälistä tutkimuksen arviointia (Research Assessment Exercise) ei ilmeisesti ole tehty ammattikorkeakouluissa (vrt. esim. Hakala, J. & Roihuvuo, J. (eds) 2014). Muita tutkimuksen tai tutkimus- ja kehittämistoiminnan arviointeja on voitu tehdä ja suunnitelmia niiden tekemiseen tuntui olevan. Niistä ei vastauksissa kuitenkaan ollut tarkempaa tietoa.

Altmetriikka ja datametriikka ammattikorkeakoulukirjastossa

Vastausten perusteella altmetriikka tai datametriikka eivät vielä näytä kuuluvan AMK-kirjastojen palveluvalikoimaan. Kaikki 14 kirjastoa kertoivat, ettei datametriikkapalveluja ole pyydetty ja suurimmassa osassa kirjastoja niitä ei ole edes tarjolla. Yhdessä kirjastossa olisi pääsy esim. WoSin Data Citation Indexiin, mutta kysyntää ei ole ollut.

Lähes sama tilanne on altmetriikan suhteen. Kahdessa yhteiskirjastossa (Tritonia ja LUT) altmetriikka näkyy kirjastojen verkko-oppaissa. Analyysipyyntöjä ei kuitenkaan ole ollut. Kahdessa AMK-kirjastossa oli suunnitelmia altmetriikan hyödyntämisestä mm. Theseus-opinnäytetöiden analyysissä. Opinnäytetöiden analyysin tarkoituksena olisi selvittää ammattikorkeakoulun vaikuttavuutta.

Parhaimmillaan tilanne on varmaan tämä yhden vastaajan kuvaama tilanne: ”Altmetriikka ja datametriikka näkyvät kirjaston toiminnassa lähinnä koulutuksissa ja verkko-oppaissa mainintoina.” Pääsääntöisesti kuitenkin tilanne altmetriikan tai datametriikan näkymisestä kirjaston toiminnassa oli tämä: ”Ei näy muuten kuin vilpittömänä toiveena.” Viidessä vastauksessa tuotiin esille toiveita altmetriikan ottamisesta osaksi kirjaston palvelua. Tämä on myös resurssikysymys ja yhdessä vastauksessa todettiin, ettei palvelua pystytä tarjoamaan resurssipulan vuoksi.

Mitä kyselystä jäi käteen?

Ammattikorkeakoulukirjastojen tämänhetkistä suhdetta tutkimuksen arvioinnin palveluihin kuvaavat osuvasti nämä muutamat otteet vastauksista.

”Ihan alkumetreillä näissä meillä ollaan, toivotaan, että joskus päästään näihinkin töihin käsiksi. TKI-toimijat ovat vähän tulleet tutummiksi nyt tämä att asian myötä.”

Ja

”… amk on toistaiseksi tyytynyt melko perinteisiin kirjastopalveluihin. ”

Pohdintaa syistä ja tulevasta

Yliopistojen tehtäviin kuuluvan tieteellisen tutkimuksen harjoittamisen sijaan ammattikorkeakoulujen tehtävänä on toteuttaa soveltavaa tutkimus-, kehittämis- ja innovaatiotoimintaa. Ammattikorkeakoulujen soveltavan tutkimustoiminnan tavoite on palvella opetusta, tukea työelämää ja aluekehitystä sekä uudistaa alueen elinkeinorakennetta. (OKM 2018.) On hyvä pitää mielessä, että tutkimustoiminta on lähtökohtaisesti erilaista näissä organisaatioissa.

Bibliometriset palvelut ovat yliopistokirjastoissakin suhteellisen uusi ja todennäköisesti kasvava alue. Yliopistokirjastot ovat Suomessa vasta 2010-luvulla laajemmin perehtyneet ja tarjonneet tutkimuksen tuen palveluja yliopistoille. Bibliometristen palvelujen tarjonta ja kysyntä on vaihdellut yliopistoissa huomattavasti. Osassa kirjastoista palvelua on ollut tarjolla pidempään ja kysyntä on ollut säännöllistä. Osassa ollaan vasta muotoilemassa palvelutarjontaa ja kysyntä on ollut satunnaista. (Forsman 2016, 105-106, 110.)

Tiedemaailmassa käytetty tutkimuksen arvioinnin palvelut -käsite saattaa tuntua vieraalta ammattikorkeakoulukirjastoissa. Bibliometriikka ja viittausanalyysit on todennäköisesti mielletty tieteellisen tutkimuksen mittaamisen työkaluiksi, eikä niiden käyttöä ammattikorkeakoulujen tutkimustoiminnan arvioinnissa ole koettu mielekkäänä. Siksi kaikki ammattikorkeakoulut eivät luultavasti ole viittaustietokannoissa (Scopus ja Web of Science) omana profiilinaan eikä tutkija voi merkitä omalle organisaatiolleen affiliaatiota. Tämä taas johtaa siihen, että organisaatiossa tehtyjä julkaisuja on vaikea selvittää.

Viime aikoina on nostettu esille ajatus, että tutkimuksen laatua voidaan tarkastella yhteiskunnallisena vaikuttavuutena. Yhteismitallisten mittareiden kehittäminen on kuitenkin hankalaa. Joitain yhteiskunnallisen vaikuttavuuden mittareita on saatu kehiteltyä. Tällainen on esimerkiksi muulle kuin tiedeyhteisölle suunnattujen julkaisujen (esim. päätöksentekijöille, oman alan ammattilaisille tai suurelle yleisölle suunnattujen julkaisujen) määrä. Myös tutkimuksesta syntyneiden patenttien ja spin-off-yritysten määrän voidaan ajatella kertovan tutkimuksen vaikuttavuudesta. (Puuska 2014).  

Yhteiskunnallista vaikuttavuutta kuvaavissa mittareissa lähestytään osittain ammattikorkeakoulujen tutkimus-, kehittämis- ja innovaatiotoimintaa. Muitakin mittareita olisi hyvä kehittää. Vaikuttavuuskeskusteluun mukaan pääsemisestä eräs vastaaja totesikin ”On ollut vaikeaa löytää amkimaista roolia vaikuttavuuskeskusteluissa. Meillä ei ole sellaista tutkimuskulttuuria kuin yliopistoilla, eikä mielestäni pidä ollakaan. Amkien lähtökohdat ovat TKI-toiminnassa, jossa pelittävät toisenlaiset indikaattorit.”

Lähteet

Ala-Kyyny, J.P. 2018. Data matkalla tunnustetuksi tutkimustuotokseksi – tiekartta ohjaa tiedeyhteisöä kohti parempia dataviittauskäytäntöjä. Think open: Digitaalisista tutkimuspalveluista ja avoimesta tieteestä / About digital research services and open science –blogi. 22.5.2018. Luettu 3.7.2018 https://blogs.helsinki.fi/thinkopen/data-matkalla-tunnustetuksi-tutkimustuotokseksi-tiekartta-ohjaa-tiedeyhteisoa-kohti-parempia-dataviittauskaytantoja/#more-88

ATT-vaikuttavuusselvitysryhmän raportti. 2015. Avoin tiede ja tutkimus –hanke. 12.8.2015. https://avointiede.fi/documents/10864/0/Vaikuttavuusraportti+ATT/aafb3bbd-416e-4bfe-98b7-43de7bbf78fb

Forsman, M. 2016. Julkaisut ja tieteen mittaaminen. Bibliometriikan käännekohtia. Tampere: Enostone.

Hakala, J. & Roihuvuo, J. (eds). 2014. Research assessment at the University of Tampere 2014. The University of Tampere. http://www.uta.fi/rae2014/index/UTA_RAE_2014_Final_Report(Web).pdf

Laine, H. (toim). 2018. Tracing data: Data citation roadmap for Finland. Finnish Committee for Research Data. http://urn.fi/URN:NBN:fi-fe201804106446

OKM. 2018. Korkeakoulut, tiedelaitokset ja muut julkiset tutkimusorganisaatiot. Luettu 5.7.2018. https://minedu.fi/korkeakoulut-ja-tiedelaitokset

Puuska, H-M. 2014. Bibliometriikka julkaisutoiminnan arvioinnissa. Alusta! 19.8.2014. Luettu 3.7.2018. http://alusta.uta.fi/artikkelit/2014/08/19/bibliometriikka-julkaisutoiminnan-arvioinnissa.html

Sandgren, T. 2017. Kansallinen bibliometriikkaseminaari 2016. Informaatiotutkimus, 36(1). https://doi.org/10.23978/inf.63191

Tampere3 Tutkimuksen arvioinnin palvelut –projektin projektikuvaus.

Tutkimuksen tuen ja hallinnon verkosto (TUHA). TUHA - sanaston valmiit käsitteet ja määritelmät 6/2017. Luettu 3.7.2018. https://confluence.csc.fi/pages/viewpage.action?pageId=64236640

Kirjoittaja:

Taina Peltonen, informaatikko, Tampereen ammattikorkeakoulu