Sisukord
Sisukord 2
1. Sissejuhatus 3
2. Hindamise eesmärk ja uurimisküsimused 3
2.1 Hindamise eesmärgid 3
2.2 Hindamiskriteeriumid 4
3. Töö teostamise metoodika 6
3.1 Metoodilised põhimõtted 6
3.1.1 Hindamise objektiivsuse ja tõendatavuse tagamine 6
3.1.2 Andmete kogumine ja analüüsimine 7
3.1.3 Hindamisküsimustele vastamine 12
3.2 Hindamise läbiviimise protsess 13
4. Hindamise tegevuste ajakava ja töökorraldus 15
5. Lisad 17
5.1 AMIF ja ISF fondide vahehindamise avakoosoleku memo 17
5.2 Intervjuukava (ISF JA AMIF projektide süvaintervjuud) 19
5.3 Lõpparuande kavand (ISF) 21
5.4 Lõpparuande kavand (AMIF) 21
1. Sissejuhatus
Lähtearuanne sisaldab tööde täpsustatud hindamisprotsessi ning andmestiku kättesaadavuse ja usaldusväärsuse analüüsil põhinevat metoodika üksikasjalikku kirjeldust sh intervjuude küsimusi ning intervjueeritavate valimit, valimit edulugudest/mitte nii hästi õnnestunud projektidest, ajakava ja tähtaegasid. Lähtearuandes kajastatakse esialgne metoodika vastamaks kõikidele hindamisküsimustele. Fookusgruppides käsitletavad teemad töötatakse välja peale süvaintervjuude ja dokumendianalüüsi läbiviimist, samuti täpsustatakse jooksvalt vajadusel metoodikat (nt kui dokumendianalüüsi käigus selgub täiendavate allikate kaasamise vajadus).
Lähtearuande väljatöötamise aluseks on hanke tehniline kirjeldus, pakkumus, hindamisküsimused, avakoosoleku memo (Lisa 5.1), sissejuhatavad intervjuud ja Hindaja poolt läbiviidud esialgne dokumendianalüüs.
2. Hindamise eesmärk ja uurimisküsimused
2.1 Hindamise eesmärgid
Käesolevaga viib Civitta Eesti AS (Hindaja) läbi Varjupaiga-, Rände- ja Integratsioonifondi (AMIF) ning Sisejulgeolekufondi (ISF) toetuse vahehindamise eesmärgiga saada ülevaade nimetatud fondide senistest tulemustest ja mõjust.
AMIF fondist antakse liikmesriikidele toetust, mille eesmärgiks on suurendada nende vastuvõtusuutlikkust, parandada varjupaigamenetluste kvaliteeti kooskõlas liidu normidega, aidata neil integreerida rändajaid nii kohalikul kui ka piirkondlikul tasandil ning suurendada nende tagasipöördumisprogrammide jätkusuutlikkust. 1
AMIF fondi rakendatakse riikliku mitmeaastase programmi alusel, lähtudes fondi erimäärusest2 ja horisontaalsest määrusest3. Fondist on võimalik toetust taotleda avalik-õiguslikel juriidilistel isikutel, eraõiguslikel juriidilistel isikutel, valitsusasutustel, valitsusasutuste hallatavatel asutustel ning rahvusvahelistel organisatsioonidel avalike taotlusvoorude kaudu4. AMIF toetuse saajaid on hinnataval perioodil 16: Eesti Punane Rist, IOM Eesti esindus, SA Eesti Teadusagentuur, SA Archimedes, MTÜ Johannes Mihkelsoni Keskus, Politsei- ja Piirivalveamet, Riigikantselei, AS Hoolekandeteenused, Tartu Ülikool, Eesti Advokatuur, SA Tartu Rahvaülikool, Siseministeeriumi infotehnoloogia- ja arenduskeskus, Eesti Rahvusringhääling, Sisekaitseakadeemia, Tartu Linnavalitsus, Balti Uuringute Instituut MTÜ.
Sisejulgeolekufondist toetatakse liikmesriike eesmärgiga parandada nende piirihaldust (eelkõige koostalitusvõimelise kaasaegse tehnoloogia abil), tõhustada piiriülest õiguskaitsekoostööd ning suurendada oma suutlikkust tulla edukalt toime julgeolekuriskidega, näiteks terrorism ja vägivaldse radikaliseerumise, uimastikaubanduse, küberkuritegevuse ja küberjulgeoleku riskide, inimkaubanduse ning muude organiseeritud kuritegevuse ilmingutega. Sisejulgeolekufond koosneb omakorda kahest rahastamisvahendist:
• Välispiiride ja viisade rahastamisvahend;
• Politsekoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahend5.
ISF toetuse saajaid on hinnataval perioodil 8: Siseministeeriumi infotehnoloogia- ja arenduskeskus, Maksu- ja Tolliamet, Päästeamet, Politsei- ja Piirivalveamet, Kaitsepolitseiamet, Justiitsministeerium, Riigi Infosüsteemi Amet, Välisministeerium.
Vahehindamise objektiks on kokku 76 projekti, millest AMIF moodustab 27 projekti ja ISF moodustab 49 projekti, millest omakorda 22 projekti on välispiiride ja viisade rahastamisvahendist, 23 projekti politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendist ning 4 viidatud kahe rahastamisvahendi ühisprojekti.6
Niisiis käesoleva hindamise peamine eesmärk on anda ülevaade nii Hankijale kui ka Euroopa Komisjonile ning EL institutsioonidele AMIF ja ISF kaasrahastatud meetmete tulemuste ja mõju kohta. Selleks tuleb:
• viia läbi 8-le hindamiskriteeriumile põhinev vahehindamine (vt punkt 1.2);
• koostada kirjalikud inglisekeelsed hindamisaruanded AMIF-i ja ISF-i riiklike programmide tegevuste tulemuste ja mõjude kohta ajavahemikul 01.01.2014-30.06.2017 ja esitada need Euroopa Komisjoni elektroonilise andmevahetussüsteemi (SFC2014) kaudu;
• välja tuua programmperioodil (01.01.14-30.06.17) ellu viidud projektide rakendamise peamised asjaolud, sh olulisemad statistilised andmed. Samuti tuleb hindamise tulemuste põhjal välja tuua peamised tähelepanekud ja teha ettepanekud.
Hindaja hinnangul tuleb hindamiseesmärkide täitmiseks viia läbi nii olemasolevate dokumentide analüüs (nt ISF ja AMIF programmidokumendid, mis annavad ülevaate programmide eesmärkidest, meetmetest, oodatavatest tulemustest, indikaatoritest, samuti hindamisperioodil koostatud finantsaruanded ehk aastaaruanded, vajadusel projektide taotlused/aruanded) kui ka intervjueerida seotud osapooli (eelkõige toetuse saajaid ja programmide rakendamise eest vastutavat asutust). Samuti näeb Hindaja vajalikuna viia läbi fookusgrupid toetuse saajatega.
Vahehindamise raames täidab Hindaja ka AMIF ja ISF vahekokkuvõtte küsimustikud (mid-term review questionnaire), mis on sisendiks riiklike programmide ülevaatamisele, vajaduste hindamisele ning AMIF ja ISF vahehindamise vormi täitmisele. Küsimustikud täidetakse eraldi AMIF ja ISF fondide kohta Hankija poolt 04.07. saadetud küsimustiku vormidele. Vahekokkuvõtte küsimustikele vastamisel lähtutakse dokumendianalüüsi ja intervjuude (eelkõige grupiintervjuud poliitikakujundajatega) käigus kogutud andmetest.
2.2 Hindamiskriteeriumid
Hindamise aluseks on fondide sekkumisloogika (kirjeldatud hindamise juhendi7 peatükis 2), mille all mõistetakse põhjuslike seoste jada, mis kirjeldab, kuidas kavandatavad tegevused viivad soovitud eesmärkide saavutamiseni ja mõjude avaldumiseni. Hindamise raames vaadatakse, kuidas ja milliste tegevuste kaudu kavandati tulemuste, eesmärkide ning mõju saavutamist ning kas kavandatu ka lõpuks realiseerus. Lisaks, kui sekkumine ei toiminud, millised olid probleemid ja mida saaks tulevikus teistmoodi teha.
Programmide hindamine põhineb kaheksal hindamiskriteeriumil. Peamised hindamiskriteeriumid vastavalt Euroopa Komisjoni hindamise juhendile on mõlema programmi osas alljärgnevad (Tabel 1):
Hindamiskriteerium
Kirjeldus ja lähenemine
1. Tulemuslikkus (Effectiveness of the programmes)
Programmide tulemuslikkuse hindamiseks analüüsitakse programmide tulemusi võrreldes algselt seatud spetsiifiliste eesmärkidega. Lisaks analüüsitakse laiemalt programmide panust valdkonna strateegiliste eesmärkide saavutamisele ning oodatud efektide ilmnemisele (mõju aspekt).
2. Tõhusus (Efficiency of the programmes)
Hinnatakse programmide elluviimise protsessi ning tõhusust (kas programmide üldised eesmärgid saavutati mõistlike kuludega).
3. Asjakohasus (Relevance of the programme)
Analüüsitakse, kas fondide rakendamise aluseks olevad strateegilised programmid on üles ehitatud asjakohaselt ja adresseerivad õigeid probleemkohti, kas valdkonna arengus on toimunud muudatusi, mis on tinginud vajaduse meetmete ja/või eesmärkide muutmiseks ning kas muudatusi on rakendatud, kas pakutavad meetmed on vastavuses valdkonna arenguvajadustega ja sihtrühmade vajadustega.
4. Sidusus
(Coherence)
Analüüsitakse programmides seatud eesmärkide sidusust teiste EL programmidega, rahvusvaheliste lepingutega samas valdkonnas. Vaadatakse, kas sidusus tagati ka programmide rakendamise ajal.
5. Täiendavus
(Complemetarity)
Vaadatakse, kas programmeerimise faasis võeti arvesse teisi täiendavate eesmärkidega sekkumisi, kas vajalikud koordineerimise mehhanismid täiendavuse tagamiseks erinevate fondide vahel toimisid ning kas need aitasid vältida võimalikke kattuvusi erinevate finantsinstrumentide kasutamisel.
6. Euroopa Liidu tegevuse lisandväärtus
(EU added value)
Tuuakse välja, mil määral programmide raames teostatavad tegevused panustavad strateegiliste eesmärkide saavutamisse ning oodatud mõjude ilmnemisele. Põhirõhk on siin küsimusel, millised (ja millises mahus) on programmide (oodatud ja positiivsed) tulemused, mida ei oleks olnud võimalik saavutada kas osaliselt või täielikult ilma Euroopa Liidu toeta läbi vaadeldavate fondide.
7. Jätkusuutlikkus (Sustainability)
Analüüsitakse, kas fondidest toetatud projektide tulemused (efektid) jäävad kestma ka peale toetuse lõppu. Milliseid meetmeid ja millises faasis (programmeerimise faas, rakendamise faas) on jätkusuutlikkuse tagamiseks rakendatud.
8. Lihtsustamine ja halduskoormuse vähendamine
(Simplification and reduction of administrative burden)
Vaadatakse, kuivõrd on muudatused programmide rakendamises toonud kaasa soovitud tulemusi (nt halduskoormuse vähenemist toetuse saajatele).
3. Töö teostamise metoodika
3.1 Metoodilised põhimõtted
Käesolevas pakkumuses on esitatud Hindaja nägemus hindamise läbiviimiseks kasutatavast metoodikast, millesse oleme valmis koostöös Hankijaga vajadusel tegema muudatusi või täpsustusi. Juhul kui töö käigus tekib vajadus metoodikat muuta, kooskõlastatakse see eelnevalt Hankijaga.
3.1.1 Hindamise objektiivsuse ja tõendatavuse tagamine
Analüüsi läbiviimisel ja järelduste ning soovituste tegemisel toetub Hindaja hindamise läbiviimisel tavapäraselt rakendatavatele põhimõtetele, milleks on loogiline vool ja triangulatsioon.
• Loogiline vool – põhimõte tagab, et hindamisearuanne on loogiliselt üles ehitatud ning ei sisalda kasutut informatsiooni. Iga järeldus peab tuginema analüüsile ja iga soovitus peab olema suunatud vähemalt ühele järeldusele. Iga tehtud soovituse osas lisatakse viide aruande osale, mille põhjal soovitus tehti (Joonis 1).
• Triangulatsioon – see on üks peamisi andmekogumise printsiipe ning tagab faktide õigsuse. Kui hindamise läbiviija saab ühest allikast informatsiooni, siis sisaldab see tõenäoliselt mingil määral subjektiivseid elemente. Et subjektiivseid elemente välja filtreerida, on vaja vähemalt ühest teisest allikast saada selle sama teema kohta lisainformatsiooni, mis võib kinnitada, täiendada, eitada esimesest allikast saadud informatsiooni või pakkuda alternatiivset interpreteerimisvõimalust. Juhul kui erinevatest allikatest saadud informatsioon on vastuolus, tuleb analüüsida mõlema leiu kvaliteeti või usaldusväärsust ning vajadusel/võimalusel kasutada täiendavaid allikaid info kogumiseks (Joonis 2).
Informatsiooni trianguleerimise tagamiseks analüüsitakse ka hindamisküsimustele vastamisel informatsiooni kättesaadavust hindamisküsimuste põhiselt (kas erinevatele hindamisküsimustele vastamiseks on olemas piisavalt informatsiooni). Hindamisküsimusele vastamiseks peab olema võimalik kasutada kas mitme analüüsimeetodi ühte allikat või ühe analüüsimeetodi mitut allikat.
3.1.2 Andmete kogumine ja analüüsimine
Hindamise läbiviimiseks kasutab Hindaja andmekogumismeetoditena kvantitatiivset (programmide indikaatorid) ja kvalitatiivset (peamiselt dokumendianalüüs, intervjuud, fookusgrupid) lähenemist.
Dokumendianalüüs
Hindamise valdkonnaga seotud olemasoleva info ehk sekundaarandmete kaardistamiseks koondatakse erinevad infoallikad, mis hõlmavad eeskätt Euroopa Komisjoni poolt hindamise läbiviimiseks koostatud juhendmaterjale, Euroopa Komisjonile esitatud programmide tegevusaruandeid (implementation report) ja finantsaasta aruandeid ning projektide toetuslepinguid, vahe- ja lõpparuandeid. Samuti tutvutakse valdkonda puudutavate uuringute ja analüüside tulemustega.
Dokumentides sisalduvate andmete analüüs annab ühelt poolt vajalikku taustteavet valdkonna arengutest ja kitsaskohtadest ning teisalt võimaldab tuvastada, mil määral on olemas vajalik (toetav) info hindamisküsimustele vastamiseks.
Dokumentide esmase analüüsimise käigus kogutud informatsioon on sisend ka hindamise raames läbiviidavate intervjuude ja fookusgruppide kavandamisele. Nimetatud andmekogumise meetodite käigus pööratakse teravdatud tähelepanu just nendele aspektidele, mille kohta olemasolevate andmete esmase analüüsi käigus ei olnud võimalik infot leida või kogutud info osutus lünklikuks. Dokumendianalüüsi raames tagatakse, et hindamise käigus ei koguta/dubleerita andmeid, mis juba on olemas.
Dokumendianalüüsi käigus töötab Hindaja läbi Hankija poolt kättesaadavaks tehtud valdkonnaga otseselt seotud hindamise juhendmaterjalid ja vormid ning alusdokumendid, sh:
• Varjupaiga-, Rände- ja Integratsioonifondi riiklik programm
• Sisejulgeolekufondi riiklik programm
• AMIF vahehindamise vorm (Draft model interim evaluation report AMIF);
• ISF vahehindamise vorm (Draft model interim evaluation report ISF);
• Euroopa Komisjoni juhendmaterjal vahehindamise läbiviimise kohta (Guidance on the common monitoring and evaluation framework for AMIF and ISF);
• ajavahemikul 01.01.2014-30.06.2017 ellu viidud ja käimasolevate projektide toetuslepingud ja aruanded;
• ajavahemikul 01.01.2014-30.06.2017 Euroopa Komisjonile esitatud finantsaasta aruanded (finantsaruanne ja tegevusaruanne).
• valdkondlikud uuringud ja analüüsid (https://www.siseministeerium.ee/et/uuringud#sisejulg)
Töö teostamisel lähtub Hindaja Siseministeeriumi veebilehtedel www.amif.ee ja www.sisejulgeolekufond.ee avaldatud dokumentidest ning EUR-Lex’is avaldatud järgmistest õigusaktidest:
• Euroopa Parlamendi ja nõukogu määrus (EL) nr 513/2014 (16.04.2014), millega luuakse Sisejulgeolekufondi osana politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahend ning tunnistatakse kehtetuks nõukogu otsus 2007/125/JHA;
• Euroopa Parlamendi ja nõukogu määrus (EL) nr 514/2014 (16.04.2014), millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Euroopa Parlamendi ja nõukogu määrus (EL) nr 515/2014 (16.04.2014), millega luuakse Sisejulgeolekufondi osana välispiiride ja viisade rahastamisvahend ning tunnistatakse kehtetuks otsus nr 574/2007/EÜ;
• Euroopa Parlamendi ja nõukogu määrus (EL) nr 516/2014 (16.04.2014), millega luuakse Varjupaiga-, Rände- ja Integratsioonifond, muudetakse nõukogu otsust 2008/381/EÜ ning tunnistatakse kehtetuks Euroopa Parlamendi ja nõukogu otsused nr 573/2007/EÜ ja nr 575/2007/EÜ ja nõukogu otsus 2007/435/EÜ;
• Komisjoni delegeeritud määrus nr 1042/2014 (25.07.2014) millega täiendatakse määrust (EL) nr 514/2014 seoses vastutavate asutuste määramise, nende juhtimis- ja kontrollialaste ülesannete ning auditeerimisasutuste seisundi ja kohustustega;
• Komisjoni delegeeritud määrus nr 1048/2014 (30.07.2014), millega kehtestatakse avalikkusele suunatud teavitamise ja avalikustamise meetmed ning toetusesaajate teavitamise meetmed vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Komisjoni rakendusmäärus nr 799/2014 (24.07.2014), millega määratakse kindlaks rakendamise aasta- ja lõpparuande näidised vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Komisjoni rakendusmäärus nr 800/2014 (24.07.2014), millega määratakse kindlaks riiklike programmide ja transiidi eriskeemi kaudu antavast tegevustoetusest teavitamise menetlused ja muu vajalik tegutsemiskord vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 515/2014, millega luuakse Sisejulgeolekufondi osana välispiiride ja viisade rahastamisvahend;
• Komisjoni rakendusmäärus nr 1049/2014 (30.07.2014) teavitamise ja avalikustamise meetmete tehniliste omaduste kohta vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Komisjoni rakendusmäärus nr 802/2014 (14.11.2014), millega määratakse kindlaks riiklike programmide näidised ning komisjoni ja liikmesriikide vahelise elektroonilise andmevahetussüsteemi tingimused vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Komisjoni rakendusmäärus 377/2015 (02.03.2015), millega määratakse kindlaks aastabilansimakse tasumiseks vajalike dokumentide vormid vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted;
• Komisjoni rakendusmäärus nr 840/2015 (29.05.2015) vastutavate asutuste tehtavate kontrollide kohta vastavalt Euroopa Parlamendi ja nõukogu määrusele (EL) nr 514/2014, millega sätestatakse Varjupaiga-, Rände- ja Integratsioonifondi ning politseikoostöö, kuritegevuse tõkestamise ja selle vastu võitlemise ning kriisiohje rahastamisvahendi suhtes kohaldatavad üldsätted.
Intervjuud
Intervjuude käigus kogutud kvalitatiivse info abil saab täiendada ja täpsustada dokumendianalüüsi kaudu kogutud andmeid (nt programmide indikaatoritega seotud infot), millele tuginedes on võimalik vastata hindamisküsimustele. Eriti oluline on kasutada intervjuusid infoallikana selliste hindamisküsimuste osas, mida ei ole seostatud mitte ühegi indikaatoriga. Veelgi enam, kuna indikaatorid kirjeldavad peaasjalikult ainult hetkeolukorda ning liikumist eesmärkide suunas, annavad intervjuud võimaluse analüüsida seoseid fondide ja toimunud muutuste vahel (kvalitatiivselt määratleda fondide panust olukorra paranemisse hinnatavates valdkondades ehk fondide mõju).
AMIF ja ISF vahehindamise raames viiakse läbi alljärgnevad intervjuud:
• Hindamise algfaasis viidi läbi 2 sissejuhatavat intervjuud Hankija esindajatega, mille raames täpsustati esmase dokumendianalüüsi käigus kaardistatud infot (nt projektide nimekiri) ning koguti üldist teavet valdkonnaga seotud arengute ja AMIF/ISF senise rakendamise kohta hindamiskriteeriumide lõikes. Lisaks täpsustati muid hindamisega seotud aspekte (nt indikaatoritega seotud info olemasolu, intervjuud poliitikakujundajatega).
• 7 süvaintervjuud toetuse saajate (projektijuhid ning PPA ja SMIT projektide koordinaatorid) esindajatega. Hindamisküsimustele vastamisel on oluliseks infoallikaks süvaintervjuud programmide raames rakendatavate projektide esindajatega, mille raames käsitletakse hindamisküsimustega seotud teemasid, eeskätt aga programmide tulemuslikkust ja mõju. Intervjueeritavate projektide esindajad valitakse lähtuvalt sissejuhatavate intervjuude käigus antud soovitustest organisatsioonide osas ning sellest, et kaetud oleksid mõlema fondi peamised teemad (AMIF8: varjupaik, integratsioon/seaduslik ränne, tagasisaatmine; ISF: toetus ühisele viisapoliitikale, piirid, kuritegevuse tõkestamine ja selle vastu võitlemine, riskid ja kriisiolukorrad). Intervjueeritavate valik kooskõlastatakse Hankijaga.
Esilagne intervjueeritavate valim on järgmine:
Nimi
Taotleja
Fond
Projektid
Teemad
Alla Voinova
PPA
ISF
Kõik PPA poolt rakendatavd ISF projektid
Piirid / kuritegevuse tõkestamine
Inna Pusikova
SMIT
ISF, AMIF
Kõik SMIT poolt rakendatavad ISF ja AMIF projekt
Viisapoliitika/piirid/ kuritegevuse tõkestamine/ riskid ja kriisiolukorrad/ tagasisaatmine/varjupaik
Arno Pugonen
Päästeamet
ISF
ISFP-3 ja ISFP-4
Riskid ja kriisiolukorrad
Marika Kõiv-Urm/Tanel Jõks
Välisministeerium
ISF
ISFB-3, ISFB-4, ISFB-16, ISFB-21 ja konsulaarkoostöö erimeede
Viisapoliitika
Merle Soha, Ege-Lii Luik
PPA
AMIF
Kõik PPA poolt rakendatavd AMIF projektid
Varjupaik / tagasisaatmine
Liis Paloots
Rahvusvaheline Migratsiooni-organisatsioon
AMIF
AMIF2015-2, AMIF2015-6, AMIF2015-7 ja AMIF2016-8
Tagasisaatmine / integratsioon / varjupaik
Juhan Saharov
Johannes Mihkelsoni Keskus
AMIF
AMIF2015-10
Varjupaik
Süvaintervjuud toimuvad eelkõige vahetute kohtumiste vormis poolstruktureeritult, st intervjuuks on teemavaldkonnad paika pandud ja põhiküsimused ette valmistatud (vt Lisa 5.2), ent intervjueerijal on vabadus nende järjekorda ja sõnastust teatud määral muuta vastavalt vajadusele. Soovi korral saadetakse intervjueeritavale vestluse peamised teemad tutvumiseks ette. Intervjuud salvestatakse, tagades nii algmaterjalide olemasolu, mida vajadusel saab hiljem kasutada andmete tõepärasuse kontrollimiseks. Intervjuu kestvuseks planeeritakse ca 1 – 1,5 tundi.
• 2 grupiintervjuud (mõlema fondi kohta üks) poliitikakujundajatega ministeeriumidest (eeskätt Siseministeeriumist ning vajadusel ka Sotsiaal-, Kultuuri- ning Haridus- ja Teadusministeeriumist). Käsitletakse eelkõige asjakohasuse, aga ka jätkusuutlikkuse, sidususe, täiendavuse ja EL lisandväärtusega seotud hindamisküsimusi. Grupiintervjuud poliitikakujundajatega on aluseks vahekokkuvõtte küsimustikele vastamiseks. Grupiintervjuu võimalikeks osalejateks pakkusid Hankija esindajad sissejuhatavate intervjuude raames välja alljärgnevad isikud:
• Veiko Kommusaar (SiM, korrakaitse- ja kriminaalpoliitika osakond, ISF)
• Kersti Maurer (SiM, pääste- ja kriisireguleerimispoliitika osakond, ISF)
• Janek Mägi (SiM, piirivalvepoliitika osakond, ISF)
• Rene Vihalem (SiM, infohaldusosakond, ISF)
• Tiina Kaart (SiM, sisejulgeolekupoliitika osakond, ISF)
• Liana Roosma (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Martin Tulit (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Kerli Zirk (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Ele Russak (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Ly Pärn (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Kristi Käsper (SiM, kodakondsus- ja rändepoliitika osakond, AMIF)
• Triin Raag (SoM, sotsiaalvaldkond, AMIF)
• Piret Hartman (KuM, asekantsler, AMIF)
• Kersti Kivirüüt (HTM, üldharidusosakond, AMIF)
Grupiintervjuul osalejate valimisel lähtutakse samuti sellest, et oleks kaetud fondide kõik teemad (4-5 osalejat ühe grupiintervjuu kohta), kuid lõplik valik sõltub olulisel määral ka sellest, kellel on võimalik välja pakutud ajal osaleda. Vajadusel on võimalik poliitikakujundajatega vestelda ka telefoni teel või küsida tagasisidet kirjalikul teel. Intervjueeritavate valik kooskõlastatakse Hankijaga.
• Vastavalt vajadusele kuni 13 telefoniintervjuud projektijuhtidega. Telefoniintervjuud viiakse läbi eelkõige näidisprojektide esindajatega (mis ei ole süvaintervjuude valimis) ning projektidega, mis on seotud fondide tulemuslikkuse hindamisega seotud alateemadega (tulenevalt hindamisjuhendis toodud hindamisküsimustest9), millele süviaintervjuude raames käsitletavad projektid ei panusta.
Näidisprojektidena vaadeldakse põhjalikumalt nelja projektijuhtumit iga fondi (AMIF, ISF-Borders ja ISF-Police) osas, millest 3 kirjeldavad edulugusid ning 1 juhtum toob välja projekti, mille rakendamine ei ole nii hästi õnnestunud. Näidisprojektid (11 projekti10) pakkusid välja Hankija esindajad lähtudes eelkõige sellest, kui tulemuslikud ja tõhusad on projektid olnud oma eesmärkide saavutamisel ning mil määral on projektid panustanud programmide tulemuste saavutamisse. Lähtearuande esitamise seisuga on näidisprojektid alljärgnevad:
AMIF
Edulood:
• AMIF2015-2: Vabatahtlik toetatud tagasipöördumine ja reintegratsioon
• AMIF2015-10: Tugiisikuteenus varjupaigataotlejatele ja rahvusvahelise kaitse saanud isikutele
• AMIF2015-13: Lahkumiskohustuse täitmine ja majutusteenuse pakkumine
• AMIF2016-3: Eesti keele õpe rahvusvahelise kaitse saajatele
Mitte nii hästi õnnestunud projekt:
• AMIF2015-4: Kohanemisprogrammi õppimisemooduli pakkumine kolmandate riikide kodanikele
ISF-Borders
Edulood:
• ISFB-5: Eritransport patrullimiseks piiril raskesti läbitaval maastikul ja/või keerulistes ilmastikuoludes
• ISFB-11: Multirootorid välispiiril vaatlustegevuse teostamiseks
• ISFP/ISFB-3: Uue välipolitsei arvutitöökoha loomine (II etapp)
Mitte nii hästi õnnestunud projekt:
• ISFB-12: Veesõidukite ja nende transportimise vahendite soetamine
ISF-Police
Edulood:
• ISFP-1: Uue välipolitsei arvutitöökoha loomine
• ISFP-4: Väiksed pommirobotid
• ISFP-6: Narkotester
Mitte nii hästi õnnestunud projekt: ei ole
Näidisprojektide valik võib lähtearuande järgselt muutuda, kui dokumendianalüüsi käigus või intervjuude raames kogutud andmete põhjal peab hindaja vajalikuks senist valikut muuta. Muudatused valimis kooskõlastatakse Tellijaga.
Telefoniintervjuu kestvuseks planeeritakse ca 20-25 minutit ning selle raames keskendutakse eeskätt projektide senistele tulemustele ja mõjule, aga ka projekti elluviimise tõhususe aspektidele, tulemuste jätkusuutlikkusele ning projekti rakendamisega seotud administratiivsele koormusele. Näidisprojektide puhul kogutakse täiendavalt infot projekti õnnestumisele kaasa aidanud peamiste tegurite kohta ning kaardistatakse põhilised projektiga seotud õppetunnid.
Telefoniintervjuude valim on esitatud alljärgnevalt:
Nimi
Toetuse saaja
Fond
Projektid
Imre Kollo
SMIT
ISFP/ISFB
ISFP-1 (näidisprojekt), ISFP-21, ISFP/ISFB-3 (näidisprojekt)
Marko Tiirik
SMIT
ISFP/ISFB
ISFP/ISFB-1, ISFP/ISFB-2
Madis Merivoo
PPA
ISFP/ISFB
ISFB-5 (näidisprojekt), ISFB-6, ISFP-9
Kirill Izmailov
PPA
ISFB
ISFB-12 (näidisprojekt)
Kalev Sarapu
PPA
ISFB
ISFB-11 (näidisprojekt)
Liis Muga
Välisministeerium
ISFB
ISFB-4
Aivi Kuivonen
PPA
ISFP
ISFP-6 (näidisprojekt)
Anu Leps
Justiitsministeerium
ISFP
ISFP-16
Piret Koll ja Raul Ranne
SA Archimedes
AMIF
AMIF2015-4 (näidisprojekt)
Jana Selesneva
AS Hoolekandeteenused
AMIF
AMIF2015-15 (võimalusel ka projekt AMIF2016-1)
Ena Drenkhan
SA Rahvaülikool
AMIF
AMIF2016-3 (näidisprojekt)
Aire Luts-Vähejaus
Sisekaitseakadeemia
AMIF
AMIF2016-11 (võimalusel ka projekt AMIF2016-22)
Maarja Vollmer
Balti Uuringute Instituut
AMIF
AMIF2016-19
Leen Eenpalu
Eesti Advokatuur
AMIF
AMIF2015-20
Intervjueeritavate valim on esialgne, vajadusel tehakse sellesse muudatusi peale dokumendianalüüsi läbiviimist.
Fookusgrupid
Dokumendianalüüsi ja intervjuude käigus kogutud info täiendamiseks ja valideerimiseks viiakse läbi 2 fookusgruppi toetuse saajate esindajatega. Mõlema fondi (AMIF ja ISF) jaoks korraldatakse üks fookusgrupp, mille raames keskendutakse eeskätt nendele teemadele, mille kohta hindamise käigus varasemalt kogutud teave on kohati vasturääkiv või mis vajab veel täpsustamist. Fookusgrupi eelis on ka see, et tänu otsesele kontaktile intervjueerija ning fookusgrupi osalejate vahel võib diskussiooni käigus üles kerkida uusi teemasid ja seisukohti. Lisaks aitavad fookusgrupid täpsustada ja valideerida nii sekundaarandmete analüüsi kui ka intervjuude tulemusi.
Fookusgruppidesse on kavas kaasata peamiselt need toetuse saajad, kelle intervjuude raames kogutud arvamused teatud teemade osas erinevad olulisel määral ning need, kellega (süva)intervjuusid hindamise raames ei tehtud. Lisaks kaasatakse fookusgruppidesse Hankija esindajad. Fookusgrupi potentsiaalsetele osalejatele saadetakse e-kiri vahehindamise tutvustuse ja fookusgrupi esialgse kavaga. Seejärel helistatakse kõik potentsiaalsed osalejad üle, et tagada vajadusel täiendavate liikmete kaasamine ja seeläbi võimalikult kõrge osalemismäär. Mõned päevad enne fookusgrupi toimumist saadetakse kõigile osalejatele meeldetuletus fookusgrupi toimumise kohta ning täpsustatud fookusgrupi kava.
Ühe fookusgrupi kestvuseks näeme ette maksimaalselt 2,5 tundi ning optimaalne fookusgrupi osalejate arv on 7-8 inimest. Fookusgrupid viivad läbi sellealase kogemusega Hindamisemeeskonna liikmed (projektijuht, hindaja).
3.1.3 Hindamisküsimustele vastamine
Vahehindamise käigus vastamist vajavad hindamisküsimused hindamiskriteeriumide lõikes on esitatud Euroopa Komisjoni juhendis11. Hindamiskriteeriumidega seotud hindamisküsimustele vastamiseks kasutatav täpsem metoodika (indikaatorid ja infoallikad) on esitatud lisades 5.3 ja 5.4 (vt Section 4).
3.2 Hindamise läbiviimise protsess
Hindamise läbiviimise protsess koosneb kolmest peamisest etapist. Hindamise läbiviimise etappidest koos planeeritud tegevuste ja tulemustega annab ülevaate järgnev joonis (Joonis 3).
Alljärgnevalt on täpsustatud etappide raames läbi viidud/läbiviidavaid tegevusi:
1. etapp – ettevalmistavad tegevused
Avakohtumine Hankijaga
• Täpsustati tegevus- ja ajakava ning töö korralduslikku poolt (sh kontaktisikud, infovahetuse korraldus);
• Tagati ühine arusaam hindamise eesmärgist;
• Hankija andis üle hindamiseks vajalikud alusdokumendid.
Dokumentide kogumine, esialgne analüüs
Analüüs viidi läbi eesmärgiga selgitada välja olemasolev teoreetiline raamistik ja empiirilised andmed, samuti esialgsed andmelüngad ning saada sisendit lähtearuande (hindamisinstrumentide) väljatöötamiseks (sh metoodika täpsustamiseks).
Sissejuhatavad intervjuud (2tk)
Enne sisuliste töödega alustamist viis Hindaja läbi 2 sissejuhatavat intervjuud Hankija esindajatega (AMIF ja ISF raames), mille raames täpsustati hindamise läbiviimisega seonduvat infot (nt projektide nimekiri, indikaatoritega seotud info olemasolu, intervjuud poliitikakujundajatega) ning koguti üldist teavet valdkonnaga seotud arengute janing AMIF/ ja ISF senise rakendamise kohta hindamiskriteeriumide lõikes.
Metoodika täpsustamine, lähtearuande koostamine ja lõpliku aruande esitamine Hankijale
Töö teostaja esitab hankijale lähtearuande vastuvõtmiseks hiljemalt 30.06.2017.
2. etapp – andmete kogumine
Dokumendianalüüs
Töötatakse läbi programmide ja vajadusel projektide dokumentatsioon, finantsaruanded jms eesmärgiga koguda kokku olemasolevad kvantitatiivsed andmed ja kvalitatiivne informatsioon.
Süvaintervjuud (9 tk)
Süvaintervjuud viiakse läbi toetuse saajatega (projektijuhtidega ja/või koordinaatoritega) eesmärgiga koguda vajadusel täiendavat infot dokumendianalüüsi käigus tuvastatud andmelünkade täitmiseks ning koguda kvalitatiivset teavet (nt mõjude osas).
2 grupiintervjuud viiakse läbi poliitikakujundajatega. Vajadusel kogutakse poliitikakujundajatelt infot telefoni või kirja teel.
Fookusgrupid (eraldi AMIF ja ISF)
Fookusgruppide käigus kogutakse kvalitatiivset infot eelkõige nende hindamisküsimuste kohta, mis ei ole seotud niivõrd indikaatoritega ning valideeritakse süvaintervjuude käigus kogutud kvalitatiivset infot.
Telefoniintervjuud (kuni 13 tk)
Telefoniintervjuud viiakse läbi näidisprojektide (edulood ja mitte nii hästi õnnestunud projektid)kohta info kogumiseks (eelkõige kogutakse infot õppetundide kohta) ning eeskätt nende projektidega, mida ei olnud võimalik käsitleda süvaintervjuude raames.
3. etapp – andmeanalüüs ja aruande koostamine
Andmetöötlus ja –analüüs ning lõpparuande kavandi koostamine ja esitamine
Hindamise eelnevatel etappidel kogutud teave töödeldakse, sünteesitakse ja integreeritakse tervikuks Euroopa Komisjoni poolt esitatud hindamisküsimuste lõikes.
Hankijale esitatakse hindamise lõpparuande kavand (29.09.2017), mis koosneb fondide vahehindamise aruannete täidetud vormidest (2 tk) (vt lisad 5.3 ja 5.4)
Valideerimisseminar, lõpparuande esitamine (31.10.2017) ja tulemuste esitlemine
Valideerimisseminar viiakse läbi Hankija meeskonnaga. Seminaril tutvustakse ja arutatakse hindamise tulemusi ning ettepanekuid. Seejärel täiendab Hindaja vajadusel aruannet ning esitab hindamise lõpparuande. Hindamise tulemusi esitletakse 30 päeva jooksul peale lõpparuande üleandmise-vastuvõtmise akti allkirjastamist Hankija poolt korraldatud üritusel.
4. Hindamise tegevuste ajakava ja töökorraldus
Tööde teostamisel lähtutakse hindamise tegevusplaanist ja ajakavast (Tabel 3). Tegevuskavas on välja toodud iga tegevuse peamised läbiviijad. Andmete kogumine jääb peamiselt perioodi juuli-september 2017 ning analüüs ja aruande koostamine perioodi juuli-oktoober 2017. Hindamise läbiviimise ajakava ja tegevusplaani koostades on Hindaja arvestanud Hankija soove vahe- ja lõpptähtaegade osas (märgitud Tabel 3 “*”-ga).
Hindamise läbiviimise tulemusel annab Hindaja Hankijale üle AMIF ja ISF vahekokkuvõtte küsimustikud ja vahehindamise lõpparuanded. Vahekokkuvõtte küsimustikud on fondide põhised ning täidetakse Hankija poolt 04.07.2017 edastatud vormidele. Lõpparuanded on samuti fondide (ISF ja AMIF) põhised ja koosnevad fondide vahehindamise aruannete täidetud vormidest (vt lisad 5.3 ja 5.4). Lõpparuanded esitatakse inglise keeles koos inglise keelse kokkuvõttega (executive summary). Lõpparuannetega koos antakse Hankijale üle ka kõik taustamaterjalid (nt intervjuuankeedid, andmebaasid, mille põhjal tulemused (nt indikaatorid) on arvutatud). Hindaja esitab AMIF ja ISF vahehindamise aruanded Euroopa Komisjoni elektroonilise andmevahetussüsteemi (SFC2014) kaudu.
Hindaja tutvustab hindamise tulemusi 30 päeva jooksul lõpparuande üleandmise-vastuvõtmise akti allkirjastamisest Hankija poolt korraldataval koosolekul. Hindaja valmistab ette elektroonilises (ppt) vormis ettekande (esitlus sisaldab hindamistulemuste kokkuvõtet) ja annab selle Hankijale üle üleandmise-vastuvõtmise aktiga pärast esitluse tegemist.
Alljärgnevas tabelis (Tabel 3) on esitatud hindamise läbiviimiseks planeeritud ajakava töö etappide, tegevuste ja vastutajate lõikes.
Tabel 3. Hindamise tegevusplaan ja ajakava
Tegevused
Kuu
Juuni
Juuli
August
September
Oktoober
Kalendrinädal (2017)
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
Projektinädal
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Etapp I: ettevalmistavad tegevused
Läbiviija / vastutaja
Avakoosolek (sh hindamise eesmärkide, tegevuste, oodatavate tulemuste ja ajaplaani täpsustamine)
Projektijuht-hindajad
31.05
Dokumentide kogumine (sh esialgne dokumendianalüüs, andmelünkade tuvastamine)
Analüütik-hindajad
Sissejuhatavad intervjuud
Projektijuht-hindajad
Lähtearuande kavandi koostamine ja esitamine Hankijale
Projektijuht-hindajad
16.06
Lähtearuande täiendamine ja esitamine Hankijale
Projektijuht
30.06*
Etapp II: andmete kogumine
Dokumendianalüüs (olemasolevad allikad, sh projektide dokumentatsioon), olemasolevate andmete koondamine
Analüütik- hindajad
Süvaintervjuud ja telefoniintervjuud
Hindajad
Grupiintervjuud poliitikakujundajatega (2 tk)
Hindajad
31.08*
Fookusgrupid
Projektijuht-hindajad
Etapp III: andmeanalüüs ja aruande koostamine
Andmetöötlus ja –analüüs
Analüütik, hindajad
AMIF ja ISF vahekokkuvõtte küsimustiku täitmine ja esitamine Hankijale
Analüütik-hindajad
08.09
AMIF ja ISF vahekokkuvõtte küsimustiku täiendamine ja esitamine Euroopa Komiskoni elektroonilise andmevahetussüsteemi (SFC2014) kaudu
15.09*
Lõpparuande kavandi koostamine (AMIF ja ISF vahehindamise vormide täitmine, esmased tähelepanekud, ettepanekud) ja esitamine Hankijale
Projektijuht-hindajad
29.09*
Valideerimisseminari läbiviimine
Projektijuht
Lõpparuande täiendamine ja esitamine Hankijale, vahehindamise aruannete esitamine Euroopa Komisjoni elektroonilise andmevahetussüsteemi (SFC2014) kaudu
Projektijuht-hindajad
31.10*
Esitluse ettevalmistamine ja hindamise tulemuste tutvustamine (30 päeva jooksul lõpparuande üleandmisest)
Projektijuht
5. Lisad
5.1 AMIF ja ISF fondide vahehindamise avakoosoleku memo
Aeg: 31.05.2017
Koht: Siseministeerium
Osalejad: Siseministeerium (SiM): Eva-Liisa Mõistlik, Tairi Pallas, Aivi Kuivonen, Silva Viilup (puudus Kristi Lillemägi)
Civitta Eesti AS: Maris Rahnu, Mariliis Trei, Evelin Põld (puudus Hanna-Maria Kordziejonek)
Arutelu teemad/kokkulepped:
• SiM on toetuse saajaid hindamise läbiviimisest juba informeerinud. Täiendavalt annab SiM toetuse saajatele teada, et intervjuud jäävad valdavalt perioodi juuli-august, fookusgrupid toimuvad septembris (fookusgruppidesse ootame lisaks toetuse saajatele ka SiM esindajaid).
• SiM andis mälupulgal üle kõik olemasolevad sisendandmed. Finantsandmed seisuga 30.06.17 (analüüsi aluseks) edastab SiM Civittale juuli alguses.
• Projekti läbiviimisel lähtub Civitta peaasjalikult pakkumuses kirjeldatud metoodikast (sh planeeritud intervjuude/fookusgruppide mahust). Kuna avakoosolekul selgus, et ISF fondi puhul tuleb ISF-Borders ja ISF-Police fonde vaadata eraldi ning näiteid parimatest/ebaõnnestunud projektidest tuleb esitada kõigi kolme fondi (AMIF, ISF-Borders, ISF-Police) kohta (kokku 12), siis viiakse osad intervjuud läbi telefoni- ja/või grupiintervjuu vormis. Fookusgrupis vaadatakse ISF-Border ja ISF-Police fonde koos. Civitta teeb vastavad metoodika täpsustamise ettepanekud lähtearuandes.
• Tõhususe analüüsimisel võrdleb Civitta programmide juhtimiskulude osakaalu kogu eelarvest möödunud perioodi samade programmidega (võrdlust teiste käesoleva perioodi programmidega ei tee, kuna selliseid võrreldavaid programme teadaolevalt ei ole). Võrdlus tehakse hindamise hetkeks (seisuga 30.06.17) tehtud kulude põhjal (mitte eelarveprognoosi põhjal).
• Täiendavuse analüüsil vaadatakse AMIF fondile sarnaste sekkumistena SF integratsioonitegevusi lõimumiskava täitmiseks. Lisaks vaadatakse riiklikke arengukavasid, strateegiaid, kus keskendutakse sarnastele eesmärkidele (osaliselt tegevused kattuvad, samas sihtrühmad on erinevad!). Sissejuhatavate intervjuude käigus täpsustatakse, milliseid sarnaseid sekkumisi täiendavuse/sidususe analüüsis veel vaadata saab.
• Lihtsustamine – sissejuhatavate intervjuude käigus täpsustatakse, milliseid uuendusi on võrreldes eelmise programmperioodiga tehtud (sellist kaardistust/analüüsi SiM-il ei ole). Süvaintervjuude käigus uuritakse toetuse saajatelt (kvalitatiivne info), kas/kuivõrd on need muudatused aidanud kaasa halduskoormuse vähenemisele (teemat käsitletakse nende toetuse saajatega, kes said toetust ka möödunud perioodil). Lisaks käsitletakse lihtsustamise teemat intervjuudes SiMi poliitikakujundajatega.
• SiMi tegi ettepaneku, et intervjueeritaks SiMi poliitikakujundajaid (mõju, vajalikud muudatused). 3 fondi peale kokku on ca 5-6 inimest, keda võiks intervjueerida. Pakkumuses intervjuusid poliitikakujundajatega ette nähtud ei ole, kuid Civitta teeb omapoolse ettepaneku lähtearuandes. Eelistatult tehakse poliitikakujundajatega 1 grupiintervjuu, kontaktid annab SiM.
• Head/halvad näited projektidest, mida aruandes käsitletakse, lepitakse koordinaatoritega kokku sissejuhatavate intervjuude käigus. Police fondi projektide head näited on: P1, P4, P6. SiM edastab Civittale olemasolevad edulood (mis on varem EK-le esitatud). EK ootab ülevaatlikku infot (mitte süvaanalüüsi) eesmärgiga häid näiteid turundada.
• EK on lubanud saada aruande esitamise mooduli valmis septembri alguseks (SiM hoiab Civittat kursis).
• Hetkel ei ole teada, mil viisil tuleb lõpparuanne SiM-le kooskõlastamiseks esitada (nt kas EK moodulist on võimalik tekitada pdf fail), seda täpsustatakse peale mooduli valmimist. Aruande koostamisel tuleb Civittal arvestada EK poolt lubatud tähemärkide arvuga, jooniseid jms aruandesse ei kavanda.
• SiMil on kahtlusi teatud indikaatorite sihttasemete mõõtmiseks vajalike andmete olemasolus. Indikaatorite jaoks olemasolevad/puuduvad andmed täpsustatakse SiMiga jooksvalt (osaliselt sissejuhatavate intervjuude käigus, osaliselt hiljem peale dokumendianalüüsi) ja seejärel otsustatakse koos, kuidas need olukorrad lahendada.
• PPA-s ja SMIT-is tuleks viia läbi intervjuu ka koordinaatoritega: SMIT=Inna Pusikova (ISF), PPA= Alla Voinova (ISF), Merle Soha (AMIF). Planeeritud intervjuude koguarv ei suurene, koordinaatorid kaasatakse grupiintervjuu vormis.
• Ametlikud aruanded (lõplik lähtearuanne kui ka lõplik lõpparuanne) edastatakse SiM-le aadressil:
[email protected]
Lähiaja tegevused:
• Fondide koordinaatoritega toimuvad sissejuhatavad intervjuud SiMis 8.06.17 kell 9.00 (ISF) ja 9.06.17 kell 9.00 (AMIF).
• Lähtearuande koostamine ja esitamine. Civitta annab hiljemalt 14.06 teada, kas 16.06 on vaja arutada lähtearuande kavandit. Juhul kui arutelu on vajalik, saadab Civitta lähtearuande kavandi SiMile ülevaatamiseks 14.06.17. Arutelu toimub sel juhul 16.06.17 k 9.00 SiMis. Juhul kui arutelu vajadust ei ole, saadab Civitta SiMile lähtearuande kavandi hiljemalt 16.06, millele saadab SiM omapoolsed kirjalikud kommentaarid hiljemalt 21.06.17. Lõplik lähtearuanne esitatakse SiMile hiljemalt 30.06.17.
• Projektimeeskonna liikme vahetamiseks saadab Civitta avalduse ning uue liikme CV (vt lepingu p 3.6).
Ülejäänud tähtajad:
• Lõpparuande esialgse versiooni esitamine – 29.09.17
• SiMi tagasiside (kommentaarid esitatakse SiMi poolt sünteesitult, toetuse saajatelt küsib SiM arvamust vaid omal äranägemisel (vajadusel), 1 kooskõlastusring) – 41. nädalal
• Valideerimisseminar – 41. nädalal
• Lõpparuande esitamine – 31.10.17
• Tulemuste esitlemine – 1 korral 30 päeva jooksul peale Ü-V akti allkirjastamist Hankija poolt korraldatud üritusel (tulemusi esitletakse SiMi töötajatele)
Peamised kontaktid:
• SiM: Eva-Liisa Mõistlik (puhkab 24.07-11.08), asendab Aivi Kuivonen
• Civitta: Maris Rahnu (puhkab 19-23.06; 3.07-11.08), asendab Mariliis Trei
5.2 Intervjuukava (ISF JA AMIF projektide süvaintervjuud)
POOLSTRUKTUREERITUD INTERVJUU KAVA
1. Asjakohasus:
• Millistel põhjustel otsustati projekt(id) ellu viia – milliseid valdkondlikke kitsaskohti/vajadusi püütakse/püüti projekti(de)ga lahendada?
• Kas projekti tegevused on endiselt asjakohased ja aitavad lahendada valdkonnaga seotud kitsaskohti? Kas oleks vaja teha muid/täiendavaid tegevusi?
2. Tulemuslikkus:
• Millised on seni olnud projekti(de) peamised tulemused ja mõjud?
• Kas ja mil määral on projekti(de) tulemused ja mõjud aidanud kaasa valdkonna arengule12 ning probleemide ja vajaduste lahendamisele?
• Kas projekt(id) on kaasa toonud tulemusi/mõjusid, mida algselt ei olnud planeeritud?
• Kas projekti(de) eesmärgid saavutatakse tõenäoliselt projekti(de) lõpuks? Kui ei, siis mis põhjustel?
• Kas projekti(de) rakendamisel on ette tulnud kitsaskohti/ootamatusi (nii projekti(de)st endast tulenevaid kui ka projektiväliseid), mis on mõjutanud projekti(de) elluviimist/tulemuslikkust?
3. Tõhusus:
• Kui tõhusalt on projekti(de) seniste tulemuste saavutamiseks ressursse (nii inim- kui ka rahalisi ressursse) kasutatud? Kas samu tulemusi oleks olnud võimalik saavutada ka vähemate ressurssidega? Kas ressursse on kasutatud sihtotstarbeliselt?
• Kuidas on üldiselt projekti(de) elluviimine kulgenud (protsess, kommunikatsioon, koostöö projekti(de) osapoolte vahel)?
• Kas projekti(de) rakendamisel on olnud vajalik teha muutusi võrreldes planeerituga (kas on esinenud kõrvalekaldeid)?
4. Sidusus ja täiendavus:
• Kas olete teadlikud muudest vahenditest/fondidest/programmidest/organisatsioonidest (nt EL struktuurivahendid, FRONTEX, riigieelarvelised vahendid), mille raames rahastatakse tegevusi, mis on sarnased Teie projekti tegevustega?
• Kas ja mil määral on projekti tegevused kooskõlas muudest allikatest rahastatud sarnaste tegevustega ning kas tegevused on üksteist täiendanud? Kas tegevused kattuvad mingil määral?
• Kas Teie asutuse poolt rakendatavad erinevad projektid teevad omavahel koostööd selleks, et projektide vahel tekiks sünergia (seal kus võimalik)? Kas teete koostööd teiste asutuste projektidega?
5. Fondi (ISF/AMIF) lisandväärtus:
• Kas ja mil määral oleks võimalik teha projekti(de) tegevusi ilma fondi (ISF või AMIF) sekkumiseta? Millised alternatiivid oleksid ISF või AMIF asemel võimalikud vastavate tegevuste elluviimiseks (nt riigieelarvelised vahendid)?
• Millised tegevused jääks/oleks jäänud ilma fondi abita tõenäoliselt tegemata (tulemused saavutamata)? Kui palju aega võtaks samade tulemuste saavutamine muude vahenditega (kui see üldse oleks võimalik)?
• Milles seisneb Teie hinnangul projekti(de) tegevuste peamine lisandväärtus:
• Kas ja mil määral aitab projekt(id) ellu viia juba olemasolevaid/tavapäraseid tegevusi suuremas mahus?
• Milliseid uusi tegevusi saab ellu viia tänu Teie projekti(de)le?
• Milliseid uuenduslikke/innovaatilisi tegevusi on tehtud/tehakse tänu projekti(de)le?
• Mil määral mõjutab projekti(de) elluviimine organisatsiooni haldussuutlikkust/võimekust?
6. Jätkusuutlikkus:
• Kas ja mil määral kestavad projekti(de) positiivsed tulemused (mõju) edasi ning leiavad rakendamist ka pärast tegevuste lõppemist? Kas ja milliseid meetmeid on rakendatud selleks, et oleks tagatud projekti(de) tegevuste järjepidevus?
• Mida oleks vaja teha/muuta, et tulemused oleksid jätkusuutliku(ma)d? Kas ja milliseid meetmeid tuleks riigi tasandil rakendada (või on juba rakendatud) selleks, et tagada projekti(de) jätkusuutlikkus?
7. Projekti(de) rakendamisega seotud administratiivne koormus:
• Projekti(de) rakendamisega seotud administratiivne koormus – kas see on Teie organisatsioonile kui toetuse saajale olnud suur? Mis on selle puhul peamised kitsaskohad, mis on hästi (nt abikõlblikkuse reeglid, aruandlus)?
• Kas on kogemus varasemate fondidega (nt Välispiirifond, Pagulasfond, Tagasipöördumisfond)? Kui jah, siis kas võrreldes nende fondidega on projektide administratiivne rakendamine lihtsam (väiksema koormusega)?
8. Mis on Teie hinnangul projekti(de) olulisemad õppetunnid?
9. Kas on ettepanekuid/soovitusi, mida selliste programmide (AMIF või ISF) rakendamisel võiks muuta (nii sisulise kui ka administratiivse poole pealt)?
Vajadusel lisatakse täpsemaid projekti-spetsiifilisi küsimusi (nt tulenevalt projekti aruannetes sisalduvast infost).
5.3 Lõpparuande kavand (ISF)
Esitatud eraldi dokumendina
5.4 Lõpparuande kavand (AMIF)
Esitatud eraldi dokumendina