Teadus-arenduskonkurss: Eesti tehisaru (AI) kirjaoskuse pädevusmudeli hindamismetoodika väljatöötamine

1. Taust

Riigikantselei Eesti.ai algatuse ja Tallinna Ülikooli koostöös on valminud Eesti esimene tehisaru praktiline pädevusmudel (eesti.ai/padevusmudel), mis kirjeldab teadmisi, oskusi ja hoiakuid, mida tööealine inimene vajab tehisaru teadlikuks, tulemuslikuks ja vastutustundlikuks kasutamiseks. Mudel hõlmab kolme taset (baastase, rakendustase, eksperttase) viies võtmevaldkonnas:

1. AI tehnoloogiad, rakendused ja digisisu loomine; 2. tehisintellekti eetika ja turvalisus; 3. inimkeskne mõtteviis ja suhtlus; 4. AI süsteemide disain; 5. info- ja andmekirjaoskus.

Igale valdkonna-taseme kombinatsioonile on kirjeldatud kolm mõõdet: teadmised, oskused ja hoiakud. Mudel on kontseptuaalne raamistik ja sellel puudub praegu formaalne hindamisinstrument, mistõttu ei ole võimalik mõõta, millisel tasemel keegi konkreetselt on, ega jälgida progressi ajas. See piirab mudeli kasutust koolituste kavandamisel, mõju hindamisel ja riiklikul tasandil AI-kirjaoskuse seires (sh seoses ELi tehisintellekti määruse artikliga 4, mis kohustab AI-süsteemide pakkujaid ja kasutuselevõtjaid tagama personali piisava AI-kirjaoskuse, ilma et määrus ette kirjutaks konkreetset hindamismetoodikat).

2. Eesmärk

Töötada välja teaduslikult põhjendatud, usaldusväärse valideerimisuuringu läbinud hindamismetoodika, mis võimaldab mõõta ja jälgida inimese tehisaru-pädevust vastavalt eesti.ai pädevusmudelile, nii enesehindamise vormis (avalikult kättesaadav vahend tööealisele elanikkonnale) kui ka formaalse/välise hindamise vormis (nt koolitusprogrammide, personaliarenduse või avaliku sektori asutuste kontekstis).

3. Ülesande täpsem kirjeldus

Teenuse keskne uurimisülesanne on luua Eesti kontekstis uus empiiriline teadmine selle kohta, millise hindamismudeli ja skaalastruktuuriga on võimalik Eesti.ai pädevusmudelis kirjeldatud teadmisi, oskusi ja hoiakuid usaldusväärselt ning eri sihtrühmades võrreldavalt mõõta. Töö ei tohi piirduda ainult olemasolevate hindamisvahendite tõlkimise või kohandamisega. Esitada tuleb kontrollitavad uurimiseeldused. Metoodika valikul tuleb võrrelda asjakohaseid alternatiive või põhjendada, miks valitud mudel on uurimisküsimuse jaoks sobivaim. Instrumentide arendus peab olema iteratiivne ja piloteerimise tulemustest juhitud.

3.1 Hindamiskonstruktide analüüs ja operatsionaliseerimine

Iga viie valdkonna ja kolme taseme jaoks tuleb teadmised, oskused ja hoiakud lahti kirjutada mõõdetavate indikaatoritena (behavioral indicators / can-do statements), mis on aluseks küsimuste, ülesannete ja skaalade koostamisele. Kolm mõõdet nõuavad erinevat lähenemist:

● Teadmised, sh faktiteadmised ja arusaam (nt AI-mudelite toimimispõhimõtted, õiguslik raamistik), sobivad hinnata teadmustestidega (valikvastused, lühivastused, stsenaariumipõhised küsimused).

● Oskused, so praktiline võimekus (nt viipade koostamine, väljundi kriitiline hindamine, lähteülesannete formuleerimine), sobivad hinnata praktiliste ülesannete, simulatsioonide, portfooliote või juhtumianalüüside kaudu.

● Hoiakud - väärtused ja käitumuslikud eelistused (nt vastutustunne, valvsus, eetiline hoiak), sobivad hinnata enesekohaste skaaladega (Likerti skaala nt) või situatsioonilise otsustustestiga (situational judgement test), mitte "õige-vale" formaadis.

3.2 Taseme-põhine progressioonimudel

Baas-, rakendus- ja eksperttaseme hindamisinstrumendid peavad olema omavahel võrreldavad ja moodustama mõõdetava raskusastme kasvu (nt Rasch-mudeli või muu iteemi-raskuse hindamise meetodi abil), et oleks võimalik hinnata ka üleminekut ühelt tasemelt teisele, mitte ainult läbi/ei läbi tulemust.

3.3 Enesehindamisvahend

Luua kõikidele avalikult kasutatav enesehindamisvahend (nt veebipõhine küsimustik), mis:

● on lühike ja arusaadav (soovitatavalt alla 30 minuti, vt DigCompSat kogemus allpool); ● annab tagasisidet valdkondade ja tasemete lõikes eraldi (mitte ühe koondskoorina); ● sobib erineva digipädevuse ja sektoritaustaga vastajatele; ● sisaldab selgitavat tagasisidet ja suunab edasiste arenguvõimaluste juurde.

3.4 Formaalse/välise hindamise instrument

Luua koolitajatele, personaliarendajatele ja avaliku sektori asutustele mõeldud põhjalikum hindamisvahend, mida saab kasutada koolituste ja õpitubade sisenditasemel ja väljundi mõõtmisel (pre/post testimine).

3.5 Valideerimine ja pilootimine

Metoodika usaldusväärsuse ja valiidsuse kontroll, pilootimine esindusliku valimiga eri sektoritest ja digipädevuse tasemetelt, tulemuste statistiline analüüs. Arvestada tuleb, et valideerimisuuringu tulemus ei ole ette määratud. Taotleja peab kontrollima, kas kavandatud konstruktid, skaalad ja tasemed vastavad seatud kvaliteedi eesmärkidele. Kui eeldused ei kinnitu, dokumenteeritakse tulemus, põhjused ja metoodika muudatused ning viiakse kokkulepitud ulatuses läbi kordusanalüüs või täiendav piloot.

3.6 Rakendusjuhend

Koostada juhendid (enese)hindamismetoodika kasutamiseks erineva lähenemisega õpiformaatide ja õpiteekondade läbiviimisel, koolituste mõju hindamisel, organisatsioonide tehisaru-kirjaoskuse audititeks ning Eesti.ai algatuse seireks.

4. Nõuded metoodikale

● Katab kõiki viit valdkonda ja kolme taset, hinnates teadmisi, oskusi ja hoiakuid eraldi (mitte ühtseks skooriks liites).

● Rakendatav nii enesehindamiseks kui formaalseks/väliseks hindamiseks. ● Sobib erinevatele sihtrühmadele (avalik sektor, erasektor, kolmas sektor ja erineva

digipädevusega inimesed). ● Tugineb tunnustatud rahvusvahelistele raamistikele ja nende hindamispraktikale (vt p 5). ● On keeleliselt ja kultuuriliselt Eesti konteksti kohandatud. ● Instrument on korduskasutatav ja ajas jälgitav (võimaldab mõõta arengut, mitte ainult

hetkeseisu).

5. Metoodilised lähtekohad ja võrdlus mujal Euroopas kasutatavate lähenemistega

Eesti pädevusmudel sarnaneb struktuurilt enim Euroopa Komisjoni DigComp raamistikuga (teadmiste-oskuste-hoiakute kolmikjaotus, valdkonna-taseme maatriks), mistõttu on selle hindamiskogemus otseselt ülekantav. Asjakohased võrdlusalused:

● DigComp / DigCompSat (JRC) ● UNESCO AI pädevusraamistikud (2024) ● EK/OECD AI Literacy Framework (AILit) ● Elements of AI (Soome) ● EL tehisintellektimäärus artikkel 4

Taotleja võib metoodika põhjendamisel tuua lisaks välja ka muid asjakohaseid rahvusvahelisi raamistikke või hindamispraktikaid, mida ta oluliseks peab.

6. Isikuandmete kaitse ja eetika

Piloteerimise ja valideerimise käigus kogutavate isikuandmete töötlemine peab vastama isikuandmete kaitse üldmäärusele (GDPR) ja Eesti isikuandmete kaitse seadusele. Taotleja peab taotluses kirjeldama andmekaitsemeetmeid ning vajadusel taotlema oma asutuse teaduseetika komitee kooskõlastust enne piloteerimise algust. Kooskõlastuse olemasolu või selle mittevajalikkuse põhjendus tuleb esitada koos valideerimisaruandega.

7. Andmete/tulemuste avalikustamine

Metodoloogiline aruanne, valideerimis- ja pilootimisaruanne ning nendes kasutatud (anonümiseeritud) andmestik avalikustatakse Tellija poolt valitud kanalis vähemalt kokkuvõtva raporti mahus. Taotleja peab taotluses näitama valmisolekut tulemuste avaldamiseks teadusartiklina.

8. Autoriõigused

Kõik teenuse käigus loodud tulemused (metoodika kirjeldus, hindamiskonstruktid, küsimustikud, andmestikud, tehnilised lahendused ja lähtekood) lähevad üle Tellijale (Riigikantselei) täies mahus, sh varaline autoriõigus. Tellijal on õigus tulemusi vabalt kasutada, muuta, edasi arendada ja kolmandatele isikutele üle anda. Avalikult kasutatavale enesehindamisvahendile ja selle metoodikale rakendatakse avatud litsentsi (soovitatavalt Creative Commons CC BY 4.0 tekstide/metoodika ja avatud lähtekoodi litsentsi, nt EUPL, tehnilise lahenduse puhul, või muu Tellijaga kooskõlastatud avatud litsents), mis võimaldab vahendit tasuta kasutada ja edasi arendada ka väljaspool käesolevat projekti.

9. Oodatavad väljundid

1. Hindamisraamistiku ja metodoloogiline aruanne, sh konstruktide kirjeldus, valitud meetodite põhjendus valdkondade ja mõõtmete lõikes, sh võrdlev ülevaade asjakohastest olemasolevatest rahvusvahelistest hindamisvahenditest ja põhjendus, miks valitud lähenemine on Eesti pädevusmudeli jaoks sobivaim.

2. Konkreetsed hindamisinstrumendid/küsimustikud valdkondade ja tasemete kaupa, eraldi enesehindamiseks ja formaalseks hindamiseks.

3. Valideerimis- ja pilootimisaruanne (valimi kirjeldus, usaldusväärsuse ja kehtivuse näitajad, soovitused).

4. Klikitav prototüüp enesehindamisvahendist eesti.ai lehele laadimiseks, sh tehniline dokumentatsioon edasiarendamiseks.

5. Rakendusjuhend praktikutele (koolitajad, personaliosakonnad, avaliku sektori asutused). 6. Kommunikatsiooni- ja tutvustusmaterjal metoodika ja enesehindamisvahendi laiemaks

levitamiseks (nt lühikokkuvõte üldsusele, visuaalne selgitus valdkondadest ja tasemetest, meediakajastuseks sobiv sisu).

7. Soovitused edasiseks arenduseks ja hooldamiseks (kuidas metoodikat ajakohastada tehnoloogia arenguga).

10. Töö teostamise nõuded

Kvalifikatsiooninõuded taotlejale

● Töö teostamisse peab olema kaasatud vähemalt kaks ülikooli, kes osalevad uuringuprojekti läbiviimises (nt vastutades erinevate valdkondade või metoodika etappide eest). Lisaks peab taotleja tagama, et hindamismetoodika ja valideerimise tulemused

vaatab enne lõpparuande esitamist läbi vähemalt üks sõltumatu ekspert kolmandast, mitteosalevast ülikoolist või teadusasutusest. Sõltumatu eksperdi nimi ja akadeemiline taust tuleb lisada taotlusele.

● Eelnev kogemus psühhomeetrilise testiarenduse, haridusliku hindamise või digipädevuse/AI-kirjaoskuse valdkonnas.

● Varasem koostöö sarnaste raamistikega (nt DigComp, ESCO). ● Eesti-keelse valideerimisvõimekuse olemasolu (st võimekus viia hindamisinstrumentide

keeleline ja kultuuriline kohandamine ning valideerimine läbi eesti keeles).

Nõuded meeskonna koosseisule

Teenuse kvaliteetseks osutamiseks peab meeskonda kuuluma vähemalt:

● Juhtiv ekspert/eksperdid, kellel on tehisaru- või digipädevuste hindamise kogemus vähemalt 5 aastat, haridustase vähemalt magistrikraad.

● Tehisintellekti (TI) ekspert, kellel on tehniline pädevus AI-tehnoloogiate ja -rakenduste osas.

● Metoodikate rakendamise kogemusega doktorant/teadlane, kellel on kogemus hindamismudelite loomisel digipädevuse mõjuvaldkonnas.

● Psühhomeetrilise/statistilise analüüsi pädevusega liige. ● Tehnilise teostuse eest vastutav liige, kellel on kogemus veebipõhiste

küsimustike/hindamisvahendite arendamise, testimise ja platvormile juurutamisega, sh klikitava prototüübi valmimise eest vastutamine.

● Projektijuht, kes juhib ja koordineerib uurimisrühma tööd, suhtleb tellijaga ning vastutab töö sujuva ja tähtaegse läbiviimise eest. Projektijuhil peab olema kõrgharidus ja vähemalt 3-aastane kogemus sarnaste projektide juhtimisel.

● Vajadusel kaasatakse töö kvaliteetseks teostamiseks seotud valdkondade eksperdid ja konsultandid.

Riskihindamine

Töö kvaliteetseks teostamiseks tuleb koos taotlusega esitada töö läbiviimise riskide hindamine, nende esinemistõenäosus ja maandamistegevused.

11. Ajakava ja eelarve

11.1 Ajakava

Teenuse läbiviimine ja tööde teostamine toimub etappides: 1. etapp: analüüs ja instrumentide koostamine (sh küsimustik ja raportite loogika). Etapi lõpus esitab töövõtja tellijale ülevaate valitud metoodikast ja esialgsetest instrumentidest kinnitamiseks. Tähtaeg 31.10.2026.

2. etapp: instrumentide viimistlemine, piloteerimine ja valideerimine, klikitava prototüübi valmimine, rakendusjuhendi ja kommunikatsioonimaterjali koostamine ning lõpparuande esitamine. Tähtaeg 31.12.2026.

Kõik töö käigus tehtavad metoodilised otsused, itemite versioonid, analüüsid ja muudatused dokumenteeritakse nii, et arendusprotsess on auditeeritav ja hiljem korratav. Taotleja korraldab regulaarseid tellijaga kokkulepitud kohtumisi, kaasates vajadusel teisi asjaosalisi.

11.2 Tellitava töö maksumus

Tellitava töö maksumus on kuni 50 000 eurot, millele lisandub käibemaks. Töö maksumus peab sisaldama vähemalt:

● uuringu läbiviimise tegevuste maksumust suuremate kuluartiklite lõikes; ● projektijuhtimise tasu; ● teenuse kogumaksumus.

Taotleja võib esitada täiendavaid asjakohaseid maksumuse läbipaistvust tagavaid kuluartikleid. Tasu makstakse kahes võrdses osas kummagi etapi vastuvõtmisel.

12. Taotluse vastavaks tunnistamine

Taotluse edukaks tunnistamiseks peab taotlus vastama tellija esitatud töö teostamise nõuetele, sh peab taotluses olema välja toodud:

● Metoodiline lähenemine koos põhjendusega; ● Kinnitus ja tõendus kvalifikatsiooni- ja meeskonna koosseisu nõuetele vastamises; ● Arvestatud tellija etteantud ajaperioodi ja maksumusega; ● Esitatud võimalike riskide esinemine töö kvaliteetsel teostamisel ja esitatud nende

esinemistõenäosus ning maandamistegevused.