Harvestoinnilla tarkoitetaan datan, tai datan kuvailutietojen, automaattista keräämistä eri sivustoilta yhteen paikkaan, kuten avoindata.fi:hin. Harvestoitavan organisaation tietoaineistot löytyvät siis ajantasaisina paitsi sen omasta palvelusta, myös avoindata.fi:stä. Harvestointi helpottaa datan löytämistä, sillä käyttäjä voi etsiä dataa keskitetysti yhdestä paikasta monen eri sivuston sijaan. Avoindata.fi:hin harvestoidaan eri organisaatioista vain tietoaineistojen kuvailutiedot eli metatiedot eikä itse dataa. 

Harvestointi kannattaa erityisesti, jos organisaatiollasi on useita avoimen datan tietoaineistoja, varsinkin jos nämä tietoaineistot päivittyvät edes muutaman kerran vuodessa. Mitä enemmän päivitettäviä tietoaineistoja organisaatiollasi on ja mitä useammin ne päivittyvät, sitä kannattavampaa harvestointi on. Harvestoinnin ansiosta voit hoitaa tietoaineistojen ylläpidon omassa palvelussasi, mutta saada silti kaikki avoindata.fi:n hyödyt. Samalla vältytään siltä ikävältä tilanteelta, että jokin tietoaineisto jää päivittämättä avoindata.fi:ssä ja data vanhenee.

Avoindata.fi:n tietoaineistojen metatiedot harvestoidaan Euroopan unionin yhteiseen avoimen datan portaaliin, dataeuropa.eu:hun. Jos harvestoimme organisaatiotasi, päätyvät myös organisaatiosi tietoaineistojen metatiedot kansainväliseen palveluun.

Harvestoitavan datan ylläpitäminen

Harvesteri kopioi palveluumme vain tietoaineistojen metatiedot sekä linkit data-aineistoihin. Varsinaisen datan ylläpitäminen hoidetaan siis edelleen omassa palvelussasi, eikä avoindata.fi:ssä ole ylläpidettäviä kopioita datastasi.

Näet kaikki harvestoimamme organisaatiot Harvestointi-sivultamme. Emme koskaan harvestoi tietoaineistoja ilman sopimusta.

Haluatko, että avoindata.fi alkaa harvestoida organisaatiotasi?

Ota yhteyttä ja kerro meille toiveestasi. Kerro yhteydenotossa mielellään seuraavat seikat:

• Keitä olette: millä alalla toimitte ja miltä aihealueelta tuotatte dataa.
• Minkälaista dataa avaatte (tietoaineistoja, rajapintoja vai molempia) ja kuinka usein se päivittyy.
• Jos organisaatiollasi on alaorganisaatioita, haluatteko organisaatiohierarkian näkyviin avoindata.fi:hin (lue lisää alaorganisaatioista).
• Kuinka usein haluatte, että avoindata.fi harvestoi teitä (yleensä harvestointi suoritetaan kerran vuorokaudessa).
• Koska haluatte aloittaa harvestoinnin.

Vastuut ja velvollisuudet harvestoinnissa

Avoindata.fi:n velvollisuudet:

• Pyrkiä mahdollisimman korkean palvelulupaukseen.
• Tarjota käyttöliittymä, josta voi tarkastella virheitä harvestoinnissa ja uudelleenharvestoida organisaation datan.
• Päivittää säännöllisesti metatietojen tietomallia (DCAT-AP) ja varmistaa tietomallin yhteentoimivuus EU:n kanssa.
  • Tutustu DCAT-AP-metatietomalliin LINKKII

Harvestoitavan organisaation velvollisuudet:

• Ilmoittaa kaksi kuukautta etukäteen teknisistä muutoksista, jotka voivat vaikuttaa harvestointiin.
• Päivittää oman tietoaineistojen metatietojen kuvailumallinsa yhteentoimivaksi avoindata.fi-palvelun metatietomallin (DCAT-AP) kanssa
• Nimetä yhteyshenkilö, kehen avoindata.fi:n ylläpitäjät voivat olla yhteydessä harvestointiin liittyvistä asioista.
• Osallistua mahdollisuuksien mukaan kansallisen tietomallin suunnittelutyöhön.
• Vastata omia tietoaineistoja ja ohjelmointirajapintoja (API) koskevaan palautteeseen ja kysymyksiin avoindata.fi:ssä.
• Lisensoida harvestoitavat tietoaineistot, ohjelmointirajapinnat ja niiden kuvaukset avoimen datan lisensseillä: Creative Commons Nimeä 4.0 tai Creative Commons CC0 1.0. 

Kun tietoaineistot harvestoidaan avoindata.fi:hin, niiden ylläpito hoidetaan silti alkuperäisessä palvelussa. Avoindata.fi-palvelussa täytyy huolehtia seuraavista:

• Organisaatio: organisaation nimi, kuvaus ja logo tulee päivittää avoindata.fi:hin manuaalisesti
• Organisaatiohierarkia: jos organisaatiollasi on alaorganisaatioita, tulee hierarkiaa ja kaikkia organisaatioita ylläpitää avoindata.fi:ssä

Lue näistä tarkemmin alta Harvestoitavan datan ylläpito -osiosta.

Jos organisaatiotasi harvestoidaan, datan ja organisaatioiden hallinnointi eroaa hieman normaalista hallinnoinnista. Ota alla esitellyt seikat huomioon, kun hallinnoit organisaatiotasi ja sen tietoaineistoja.

Harvestoinnin vaikutukset datan hallinnointiin

Jos avoindata.fi harvestoi organisaatiotasi, uudet tietoaineistot sekä vanhoihin tietoaineistoihin tehdyt muokkaukset päivittyvät automaattisesti palveluumme. Harvesteri kopioi yleensä kerran vuorokaudessa organisaation omasta palvelusta löytyvien tietoaineistojen uusimmat versiot avoindata.fi:hin. Näet organisaatiosi harvestointiraporteista edellisten harvestointiajojen tilanteet ja mahdolliset virheet. Lue lisää harvestointiraportista ja harvesterin hallinnoinnista alempaa.

Tietoaineistojen lisääminen ja muokkaaminen

Harvestoitaessa kaikki avoindata.fi:ssä tietoaineistoihin tehdyt muutokset poistuvat, eli älä lisää tietoaineistoja suoraan avoindata.fi-palveluun tai muuten muokkaa niitä palvelussamme, jos organisaatiotasi harvestoidaan, vaan tee muutokset omassa palvelussasi.

Harvestoinnin vaikutukset organisaation hallinnointiin ja alaorganisaatioihin

Sinun täytyy avoindata.fi:ssä huolehtia organisaatiosi nimestä, kuvauksesta, logosta sekä jäsenistä ja heidän oikeuksistaan. Lue lisää jäsenten hallinnasta.

• Tuottajalla on alaorganisaatioita: Sovi organisaatiohierarkian luomisesta avoindata.fi:n ylläpitäjien kanssa, jos haluat, että tietoaineistot harvestoituvat alaorganisaatioihin myös avoindata.fi:ssä. Muuten kaikki organisaatiosi tietoaineistot harvestoituvat yläorganisaation alle. Tietoaineistojen harvestoituminen oikeiden alaorganisaatioden alle helpottaa myös datan löytämistä palvelusta. Lue lisää organisaation luomisesta oppaasta. Avoindata.fi:hin luomasi organisaatiohierarkian tulee olla identtinen omasta palvelustasi löytyvän organisaatiorakenteen kanssa. Muuten tietoaineistot eivät harvestoidu oikeisiin organisaatioihin. Muista päivittää kaikki muutokset organisaatiohierarkiassa myös avoindata.fi:hin.
• Haluat siirtää tietoaineistoja yhdeltä alaorganisaatiolta toiselle: Siirrä tietoaineistot omassa palvelussasi. Harvesteri huomaa muutoksen, ja tietoaineistot päivittyvät oikean organisaation alle avoindata.fi:ssäkin seuraavan harvestointiajon yhteydessä.
• Tietoaineiston ylimmän tason ylläpitäjäorganisaatio muuttuu esimerkiksi yhdistymisen seurauksena: Ota yhteyttä avoindata.fi:n ylläpitäjiin. Näin vältämme mahdollisten kopioiden syntymisen.
• Organisaatiosi nimi muuttuu: Päivitä uusi nimi myös avoindata.fi:hin. Sama koskee myös kaikkia organisaatiosi alaorganisaatioita. Jos sinulla ei ole oikeuksia muuttaa organisaation nimeä, voit hakea ylläpitäjäjäsenyyttä organisaatioosi joko jäsenhakemuksella tai ottamalla meihin yhteyttä yhteydenottolomakkeella.

Harvesteri, jolla data kerätään organisaation palvelusta on organisaatiokohtainen. Harvestoitavan organisaation ylläpitäjällä annetaan oikeus hallinnoida myös harvesterin toimintaa.

Tarkastele harvesteria ja tietoa harvestointiajoista navigoimalla Harvestointi-sivulle, valitsemalla organisaatiosi ja valitsemalla Ylläpitäjä - Admin.

Harvestoitava organisaatio:

• Seuraa harvestointiajojen onnistumista ja mahdollisia virheitä.

Avoindata.fi:n ylläpitäjät:

• Huolehtivat harvesterin asetuksista ja ylläpidosta.

Harvesterin hallinnointi

Harvesterin ylläpidosta vastaa pääasiassa palvelun ylläpito. Vaikka pääsetkin harvestoitavan organisaation ylläpitäjä-jäsenenä muokkaamaan harvesteria, älä tee mitään muutoksia, ellet ole täysin varma siitä mitä teet. Ota ongelmatapauksissa yhteys palvelun ylläpitäjiin. 

Harvestointiajot

Tarkastele, milloin harvesteri on viimeksi ajettu ja onko harvestointi suoritettu onnistuneesti Yhteenveto-välilehdeltä. Jos haluat tarkastella viimeisintä ajoa ja sen virheitä tarkemmin, valitse View full job report.

Jos haluat tarkastella kaikkia ajoja ja niissä mahdollisesti tapahtuneita virheitä, valitse Jobs.

Muokkaa-välilehdessä hallinnoidaan harvesteria, joten sitä ei yleensä ole tarpeen käyttää. 

Lue lisää virheistä Harvestointiraportit-osiosta.

Harvesterin käynnistäminen uudelleen

• Reharvest-painikkeella voit käynnistää harvestoinnin manuaalisesti. 
• Stop-painike pysäyttää harvesterin. 
• Clear-painike poistaa kaikki harvestointitulokset.
• View harvest source -painikkeella voit palata takaisin normaaliin harvesterinäkymään, jossa näet harvestoidut tietoaineistot sekä harvesterin tiedot.

Jos harvesteri on jäänyt jumiin running tilaan, pysäytä se Stop-painikkeella ja harvestoi tietoaineistot uudelleen valitsemalla Reharvest. Jos harvesteri ei korjaudu tällä, ota yhteys palvelun ylläpitäjiin.

Jos olet tehnyt muutoksia omassa palvelussasi esimerkiksi virheellisen tiedon vuoksi ja haluat päivittää muutokset heti myös avoindata.fi:hin, käynnistä tietoaineistojen uudelleenharvestointi valitsemalla Reharvest. 

Harvesteri tekee jokaisesta harvestointiajosta raportin, joka näyttää muun muassa ajon aikana tapahtuneet virheet. Näet harvestointiraportit harvestoitavan organisaatiosi sivulta valitsemalla Ylläpitäjä - Admin > Jobs.

Valitse harvestointiajo tarkastellaksesi kyseistä ajoa ja sen aikana tapahtuneita virheitä.

Harvestoinnin aikana tapahtuvat virheet ja niiden korjaaminen

Harvestointiraportti kertoo ajon aikana tapahtuneen virheitä, kun palvelumme käyttämän CKAN-alustan harvesteri tulkitsee jonkin tapahtuman virheelliseksi. Yleensä virheet johtuvat metatiedoista, joita harvesteri ei tunnista.

​​​​Jos tietty virhe toistuu usein, korjaa virhe tai ota yhteys palvelun ylläpitäjiin. Satunnaisista yksittäisistä virheistä ei tarvitse välittää. Toistuvat virheet johtuvat esimerkiksi virheellisistä, avoindata.fi:n tietomalliin sopimattomista metatiedoista. Esimerkiksi, jos sähköpostiosoitteessa on käytetty @-merkin sijaan [a]-merkintää, harvesteri ei tunnista sähköpostiosoitetta.

Korjaa virheet paikallisesti omassa palvelussasi, niin ne päivittyvät seuraavassa harvestointiajossa myös avoindata.fi:hin.

Virheellisten tietoaineistojen harvestointi

Jos harvestoinnin aikana tapahtuu virhe, ei virheellistä tietoaineistoa päivitetä palveluun. Jos siis jossakin tietoaineistossasi on virheellinen metatietokenttä, ei tietoaineisto koskaan päädy avoindata.fi:hin.

Jos et ymmärrä harvestointiraportin virhetietoja tai et osaa korjata virheitä, ota yhteyttä avoindata.fi:n ylläpitäjiin.