Valge 4 / 11413 Tallinn / 620 1200 / [email protected] / www.transpordiamet.ee

Registrikood 70001490

/*ASUTUSESISESEKS KASUTAMISEKS

Märge tehtud:

Kehtib kuni:

Alus:

Teabevaldaja: Transpordiamet*/

Justiits- ja Digiministeerium

[email protected]

Suur-Ameerika tn 1

10122, Tallinn, Harju maakond

/*Teie 22.07.2026*/ /*nr 1-17/4722-

23*/

Meie nr

Vastused täiendavatele küsimustele

projektis „Tark tagasiside: AI-toega

kliendikogemuse analüüs avalikus sektoris“

Austatud pr Keaty Siivelt

Saadame vastused Teie täiendavatele küsimustele meie „Tehisarulahenduste ja privaatsust

tagavate tehnoloogiate kasutuselevõtu toetus“ esitatud taotluse „Tark tagasiside: AI-toega

kliendikogemuse analüüs avalikus sektoris“ projekti eelarve, kavandatud tegevuste ja oodatava

mõju kohta.

1. Palume täpsustada kavandatud kulude kujunemise põhimõtteid ning kirjeldada, millised tegevused viiakse ellu asutusesiseselt ja millised hangitakse sisse.

Kuna projektiga lahendatav probleem on pikaajaline ning püsiv, oleme Transpordiametis teinud enne toetusvõimaluste avanemist analüüsi probleemi lahendamiseks vajalikest tegevustest ning küsinud selle kohta ka hinnapakkumise. Projekti eelarve on koostatud lähtuvalt selle analüüsi abil kaardisataud vajalikest tegevustest, hinnangulisest töömahust ning sarnaste tehisintellekti ja andmeanalüüsi projektide turuhindadest. Eelarve katab projekti kõik põhietapid alates analüüsist ja lahenduse kavandamisest kuni piloteerimise, testimise ja mõju hindamiseni. Eelarve koostamisel on võetud aluseks varasemad hinnapäringud ja hinnangud samalaadsete lahenduste arendamiseks ning arvestatud asjaolu, et projekti elluviimine toimub hilisemal perioodil kui esialgne hinnastamine. Tulenevalt meie töö ja töötajate profiilist, viib Transpordiamet asutuse enda töötajate poolt ellu vaid need tegevused, mis eeldavad organisatsiooni sisuliste vajaduste tundmist ja teenusejuhtimise kompetentsi. Nende hulka kuuluvad:

 kasutusjuhtumite täpsustamine,  klienditagasiside protsesside ja andmeallikate kaardistamine,  pilootteenuste valik,  nõuete määratlemine  hankimine  projekti juhtimine  lahenduse testimine ning mõju hindamine.

2 (5)

Samuti tagab Transpordiamet lõppkasutajate kaasamise ja lahenduse praktilise valideerimise reaalses töökeskkonnas. Seejuures on need kaasnevad tegevused antud juhul jäätud väljaspoole projekti eelarvet, need tagatakse Transpordiameti sisemise töökorralduse abil. Sisse ostetakse tegevused, mis eeldavad spetsiifilist tehnilist kompetentsi või arendusvõimekust. Nende hulka kuuluvad:

 tehisintellekti alustarkvara analüüs, valik ja kohandamine;  tehisintellekti ja tekstianalüüsi ekspertiis;  klienditagasiside automaatse analüüsi mudelite seadistamine ja kohandamine,  andmete töötlemise ning klassifitseerimise lahenduste loomine,  tehnilise arhitektuuri ja integratsioonide väljatöötamine;  infoturbe ja andmekaitse ekspertiis;  pilootlahenduse arendus- ja juurutusteenused.

Selline tööjaotus võimaldab kasutada väliste partnerite tehnilist kompetentsi ning keskendada Transpordiameti panuse sisuliste vajaduste määratlemisele ja tulemuste rakendamisele. Eelarve kujundamisel vaatlesime ka samalaadsete projektide näideteid ning võtsime arvesse valdkonna tööde püsivat hinnakasvu. Näited:

Hange/projekt Tellija Sisu Maksumus

TTJA pöördumiste märgendaja Texta toolkiti arendamine

TTJA

TTJA 2018–2021 pöördumiste põhjal märgendaja edasiarendus, mudelite treenimine, e- postisüsteemiga liidestamine ja töötajate väljaõpe. See on sinu ideele väga lähedane, sest käsitleb kliendipöördumiste automaatset märgendamist.

41 760 € (ttja.ee)

Keelatud reklaami tuvastamise lahenduse prototüüp

TTJA koostöös MKMiga

Analüüsiti, kas sotsiaalmeediast saab automaatselt tuvastada õigusvastast reklaami, sh teksti ja pilti; loodi PoC ühe sotsiaalmeediakanali näitel.

Projekti kogumaksumus 66 924 €; hanke lepingu maksumus 55 770 € (ttja.ee)

Kodaniku pöördumiste klassifitseerija analüüs ja pilootprojekt

MKM

Avaliku sektori kliendipöördumiste automaatse klassifitseerimise analüüs ja PoC; käsitleti e-kirju, vestlusaknaid, kliendikõnesid jm kanaleid. TTJA oli kaasatud asutuste hulgas.

59 520 €

Riigi keskse juturoboti Bürokratt eelanalüüs ja prototüüp

RIA

Riigiülese juturoboti eelanalüüs ja prototüüp kahe asutuse vahel; eesmärk oli parandada riigiasutuste vahelist teenindust ja pakkuda kliendile ühte kontaktpinda.

Eeldatav 80 000 €, lõplik 72 655 € (mercell.com)

Bürokrati RIA Bürokrati baastarkvara ja Raamlepingu maksumus 350

3 (5)

haldustööde tellimine

keeletehnoloogia lahenduste haldus, turvauuendused, seadistamise/paigaldamise tugi.

000 € KM-ta (ee.openprocurements.com)

Bürokrati keeletehnoloogia ressurss

RIA

Ressursid Bürokrati edasiarenduseks; AI-inseneri osa kirjelduses olid RAG-lahendused, AI-agentide ehitamine, API- päringud ja guardrails’id.

Kogu hange 853 560 €, AI- inseneri osa 96 000 € (mercell.com)

2. Selgitada, kas projekti kavandamise käigus on hinnatud olemasolevate

kommertslahenduste kasutamise, kohandamise või edasiarendamise võimalusi. Arvestades, et turul on kättesaadavad mitmed tehisarul põhinevad klienditagasiside, tekstianalüüsi, meelsusanalüüsi ja kliendikogemuse juhtimise lahendused, palume põhjendada, miks ei ole projekti eesmärkide saavutamiseks võimalik kasutada või edasi arendada olemasolevaid tootepõhiseid lahendusi, sealhulgas koostöös erasektori partneritega.

Projekti kavandamisel on arvestatud, et turul on olemas mitmed klienditagasiside, tekstianalüüsi ja kliendikogemuse juhtimise lahendused ning erinevad tehisintellekti platvormid (nt Qualtrics, Medallia ja teised). Samas ei ole Transpordiametil vajalikku spetsialiseeritud tehnoloogilist kompetentsi, et hinnata erinevate lahenduste sobivust, võrrelda nende kasutamise ja kohandamise võimalusi ning teha teadlik valik organisatsiooni vajadustele kõige paremini vastava lahenduse osas. Seetõttu kaasatakse projekti erasektori partner, kelle ülesandeks on olemasolevate lahenduste analüüs, sobiva alustarkvara valik ning selle vajaduspõhine kohandamine. Erilist tähelepanu tuleb pöörata avaliku sektori kontekstis olulistele riskikohtadele, nagu andmekaitse- ja infoturbenõuetele vastavus, eesti keele ning avaliku sektori terminoloogia piisav tugi, võimalik sõltuvus konkreetsest tootjast ning lahenduse kohandamise vajadus avalike teenuste juhtimise eripäradele. Juhul kui analüüsi tulemusel selgub, et projekti eesmärke on võimalik saavutada olemasoleva kommertslahenduse kasutuselevõtu ja kohandamisega, eelistatakse seda lähenemist täiendava arenduse tegemisele. Projekti ettevalmistamisel hinnati põhimõtteliselt erinevaid võimalikke lähenemisi ning lähtuti eeldusest, et võimalusel kasutatakse olemasolevaid tehnoloogiaid ja teenuseid ning kaalutakse nende kohandamise võimalusi enne täiendava arenduse tegemist. Kavandatavas projektis on üheks oluliseks tegevuseks sobiva tehisintellektil põhineva alustarkvara või platvormi hindamine, valik ja organisatsiooni vajadustele vastav kohandamine koostöös erasektori partneriga. Alles pärast olemasolevate lahenduste ja nende kohandamisvõimaluste põhjalikku analüüsi hinnatakse, millises ulatuses on vajalik täiendavate komponentide või funktsionaalsuste loomine. Saadaolevate kommertslahenduste puhul pole teada, millises ulatuses suudavad need toetada Eesti avaliku sektori vajadusi. Avaliku sektori kontekst erineb oluliselt tavapärasest kliendikogemuse juhtimisest erasektoris, sest arvestada tuleb nii andmekaitse, eesti keele eripärade, avalike teenuste juhtimise loogika kui ka võimaliku andmete korduvkasutatavusega erinevate asutuste vahel. Projekti eesmärkide saavutamine olemasolevate tootepõhiste lahendustega võib olla võimalik, kuid selle teostatavus, mõistlikkus ja kulutõhusus vajab lahendamist projekti käigus.

4 (5)

3. Juhul kui projekti eesmärkide saavutamiseks on vajalik uue lahenduse väljatöötamine, palume kirjeldada selle vajadust ning selgitada, kuidas on hinnatud erinevate lahendusvariantide mõju projekti eelarvele ja millest tuleneb kavandatud eelarvevajadus.

Projekti keskne eesmärk ei ole uue tehisintellektil põhineva lahenduse väljatöötamine vaid klienditagasiside kiires töötlemises peituva potentsiaali avamine AI abil. Tõenäoliselt võib siiski osutuda vajalikuks olemasolevate kommertslahenduste täiendav kohandamine või piiratud ulatuses täiendava funktsionaalsuse loomine, arvestades et need lahendused pole loodud avaliku sektori kasutusjuhtumite nõuetele vastama. Selline vajadus tuleneb eesti keele eripärast, avaliku sektori terminoloogiast, andmekaitsenõuetest, teenusejuhtimise protsessidest või vajadusest kasutada lahendust erinevates asutustes ühtsetel alustel. Erinevate lahendusvariantide hindamisel on lähtutud põhimõttest, et esmalt analüüsitakse olemasolevate lahenduste kasutusvõimalusi ning alles seejärel kaalutakse kohanduste või täiendava arenduse vajadust. Projekti eelarve ei ole kavandatud uue tehisintellekti mudeli väljatöötamiseks, vaid võimalike kohanduste, integratsioonide, klassifitseerimisloogika, kasutajavaadete ning avaliku sektori vajadusi toetavate töövoogude loomiseks ja testimiseks. Eelarvevajadus tuleneb eelkõige kasutusjuhtumite analüüsist, lahendusvariantide võrdlemisest, pilootlahenduse seadistamisest või kohandamisest, vajalike integratsioonide loomisest, lahenduse testimisest ning selle mõju hindamisest. Projekti raames ei ole kavandatud Transpordiameti tavapärase töökorraldusega seotud võimalikke täiendavaid sisekulusid, kuna nende tekkimise ulatus sõltub pilootprojekti tulemustest ning ei ole käesoleva taotluse raames usaldusväärselt hinnatav. Projekti maksumus ei tulene uue tehisintellekti mudeli väljatöötamisest, vaid olemasolevate lahenduste hindamisest, sobiva tehnoloogilise aluse valikust, avaliku sektori vajadustele vastavate kohanduste tegemisest, vajalike integratsioonide loomisest, piloteerimisest ning mõju hindamisest. Projekti eesmärk on välja selgitada avaliku sektori vajadustele sobivaim lahendus ja vähendada riski, et kasutusele võetakse lahendus, mille tegelik sobivus, mõju ja korduvkasutatavus ei ole eelnevalt valideeritud.

4. Taotluses on eesmärgina välja toodud käsitöö mahu vähenemine 50%. Palume täiendada taotlust, tuues välja selle näitaja algtaseme, mille suhtes kavandatud vähendamist mõõdetakse, ning kirjeldada, kuidas käsitöö mahtu mõõdetakse.

Praegu toimub klienditagasiside analüüs valdavalt käsitsi. Transpordiamet saab ligikaudu 4000 vabatekstilist klienditagasiside kommentaari kvartalis, mis tuleb enne analüüsimist töödelda. Käsitöö mahu algtasemeks on hinnanguliselt ligikaudu 80 töötundi kvartalis. Hinnang põhineb senisel klienditagasiside analüüsi praktikal ning teenusejuhtide tööaja hinnangul. Sellest umbes 24 töötundi kulub andmete ettevalmistamisele ja pseudonümiseerimisele ning ligikaudu 40 töötundi kommentaaride teenusepõhisele analüüsile, teemade tuvastamisele, probleemide koondamisele ning kokkuvõtete koostamisele. Ülejäänud aeg kulub tulemuste edastamisele teenusejuhtidele, parendusettepanekute koondamisele ning tehtud tegevuste seirele.

Tegevus Praegune ajakulu kvartalis

Tagasiside pseudonümiseerimine ja ettevalmistamine 24 h

Kommentaaride analüüs ja kategoriseerimine 40 h

Tulemuste koondamine ja teenusejuhtidele edastamine 8 h

5 (5)

Parendustegevuste seire ja järelanalüüs 8 h

Kokku 80 h

Projekti eesmärk on vähendada käsitsi tehtava esmase analüüsi mahtu vähemalt 50% võrra ehk ligikaudu 40 töötunnini kvartalis. Mõõtmine toimub enne-pärast võrdluse alusel, lähtudes tegelikust tööajakulust ning dokumenteeritud tegevustest. Lisaks hinnatakse mõju probleemide tuvastamise kiirusele, analüüsi regulaarsusele ja juhtimisotsuste tegemiseks vajaliku info kättesaadavusele.

5. Samuti palume kirjeldada, millised projekti tulemused on kavandatud laiemalt taaskasutatavaks ning kuidas on kavandatud nende kasutuselevõtu toetamine teistes avaliku sektori asutustes.

Projekt on kavandatud selliselt, et selle tulemused oleksid võimalikult laialdaselt kasutatavad ka teistele avaliku sektori organisatsioonidele. Projekti käigus ei hinnata ainult pilootlahenduse toimivust, vaid ka selle korduvkasutatavust ja laiendatavust. Taaskasutatavad tulemused hõlmavad eelkõige klienditagasiside analüüsi metoodikat, klassifitseerimis- ja kategoriseerimisloogikaid, korduvkasutatavaid analüüsikomponente, tehnilise lahenduse arhitektuurilist raamistikku ning piloteerimise käigus valmivaid rakendus- ja kasutussoovitusi. Lisaks hinnatakse vähemalt ühe teise avaliku sektori kasutusjuhtumi sobivust ning kaardistatakse lahenduse ülekantavus teistesse organisatsioonidesse. Lahenduse kavandamisel eelistatakse võimalusel selliseid tehnoloogilisi valikuid ja arhitektuurseid põhimõtteid, mis võimaldavad tulemusi kasutada ka teistes avaliku sektori organisatsioonides ilma ulatusliku täiendava arenduseta. Transpordiamet kavandab teha projekti tulemused ja kogemused avalikule sektorile vabalt kättesaadavaks. Selleks koostatakse dokumenteeritud metoodika ja rakendussoovitused ning korraldatakse projekti tulemusi tutvustav kogemusüritus, kuhu kutsutakse teiste avaliku sektori organisatsioonide esindajad. Projekti käigus valminud teadmised, õppetunnid ja võimalikud korduvkasutatavad komponendid tehakse huvilistele kättesaadavaks, et toetada lahenduse laiemat kasutuselevõttu ning vähendada teiste asutuste vajadust alustada sarnaste katsetustega algusest peale. Projekti üheks oluliseks eesmärgiks on luua eeldused avaliku sektori üleseks õppimiseks ja tehisintellekti võimekuste laiemaks rakendamiseks teenuste arendamisel. Lugupidamisega (allkirjastatud digitaalselt) Üllar Salumäe direktor peadirektori kt. Kaido Sipelgas 53417569, [email protected]