Käskkiri

KÄSKKIRI

08.11.2024 nr 1-2/24-066

Riigihanke „Digiligipääsetavuse testimise tööriist"

pakkumuste vastavaks tunnistamise ja pakkumuse

edukaks tunnistamise otsus

Tulenevalt TTJA korraldatud riigihanke „Digiligipääsetavuse testimise tööriist" (viitenumber

283611) hankekomisjoni 05.11.2024 hindamisprotokollist nr 4-11/24/0057/0212 pakkumuste

vastavaks tunnistamise ja pakkumuse edukaks tunnistamise kohta, võttes aluseks riigihangete

seaduse (RHS) § 52 lõike 3, § 114 lõike 1 ja § 117 lõike 1 ning TTJA 02.03.2024 käskkirjaga

nr 1-2/24-017 kehtestatud hankekorra punktid 13.6-13.17:

otsustan

1. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt,

s.o. 30.09.2024 kella 12.00 esitatud OÜ Flaka (reg. kood 12508614) pakkumus nr

515037, kogumaksumusega 98480,80 eurot käibemaksuta.

2. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt,

s.o. 30.09.2024 kella 12.00 esitatud NSG OÜ (reg. kood 16892006) pakkumus nr

516083, kogumaksumusega 109440,00 eurot käibemaksuta.

3. Tunnistada vastavaks riigihankele „Digiligipääsetavuse testimise tööriist" tähtaegselt,

s.o. 30.09.2024 kella 12.00 esitatud Platvorm OÜ (reg. kood 12187920) pakkumus nr

516092, kogumaksumusega 79980,00 eurot käibemaksuta.

4. OÜ Flaka pakkumusele nr 515037 omistatud väärtuspunktide summa on kokku 69,24

punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati

OÜ-le Flaka 33,24 punkti ning detailanalüüsi eest 36 punkti (detailanalüüsiga seotud

põhjendused on Lisas 1).

5. NSG OÜ pakkumusele nr 516083 omistatud väärtuspunktide summa on kokku 83,23

punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati

NSG OÜ-le 29,23 punkti ja detailanalüüsile 54 punkti (detailanalüüsiga seotud

põhjendused on Lisas 1).

6. Platvorm OÜ pakkumusele nr 516092 omistatud väärtuspunktide summa on kokku 70

punkti, vastavalt hindamiskriteeriumidele. Pakkumuse kogumaksumuse eest omistati

Platvorm OÜ-le 40 punkti ja detailanalüüsile 30 punkti (detailanalüüsiga seotud

põhjendused on Lisas 1).

2

7. Tunnistada edukaks NSG OÜ pakkumus nr 516083, kogumaksumusega 109440,00

eurot.

Eduka pakkuja suhtes tuleb riigihangete registri vahendusel läbi viia kõrvaldamise aluste

kontroll tõendite alusel, juhindudes RHS § 104 lõigetest 8 ja 11.

(allkirjastatud digitaalselt)

Kristi Talving

peadirektor

Melissa Liivak

[email protected]

3

Lisa 1

KINNITANUD peadirektor 08.11.2024

käskkirjaga nr 1-2/24-066

Detailanalüüsi hindamistulemused ja pakkujatele omistatud väärtuspunktid

Punktide andmise alused ja põhjendused sisalduvad hankedokumendi p-s 7.3.2. Allolevas

tabelis on välja toodud iga detailanalüüsi osa suhtes pakkujatele antud punktid koos pakkumuse

kohta käivate põhjendustega.

Väärtuspunktide

andmise alused

OÜ Flaka NSG OÜ Platvorm OÜ

Detailanalüüsis

kirjeldatud

tööriista teostuse

vastavus tehnilise

kirjelduse punktis 2

välja toodud hanke

eesmärkidele.

6 PUNKTI

Pakkuja ei ole

detailanalüüsis välja

toonud tööriista hinnangu

jõudlust optimaalse

üheaegsete kasutajate arvu

osas. Pakkuja on

põhjendanud, et üheaegsete

kasutajate arvule on

keeruline kindlat numbrit

ette näha automaattestide

jooksutamise tõttu ning

esialgsed testimised, mis

automaattestidega läbi

prooviti andsid pakkujale

pigem kindluse, et

jõudlusega probleeme ei

teki.

Pakkuja ei ole välja toonud

kuidas nimetatud esialgseid

testimisi läbi viidi ega

andnud omapoolset

hinnangut sellele, kui palju

kasutajaid pakkuja leiab, et

tööriista üheaegselt

kasutada võiks.

Hankijal ei ole võimalik

pakkuja poolse kirjelduse

põhjal täielikult hinnata,

kas pakkuja poolt pakutav

tööriist on üheaegselt

kasutatav optimaalsele

kasutajate arvule ja vastab

seeläbi tehnilise kirjelduse

punktis 5.2.1. toodud

nõudele. Hankija ei saa

seega täielikult hinnata

teostuse vastavust hanke

eesmärkidele.

Kuivõrd jõudlusele

täpsemat hinnangut antud

ei ole, kuid Pakkuja usub,

et jõudlus peaks olema

piisav, siis ei saa ka kindlalt

öelda, et tegu on olulise

puudujäägiga ning tööriista

jõudlus ei vasta kindlasti

hanke eesmärkidele.

12 PUNKTI

Pakkuja on detailanalüüsis

andnud põhjalikud ja täpsed

kirjeldused tööriista

teostusest ning need

vastavad hanke

eesmärkidele.

0 PUNKTI

Detailanalüüsis kirjeldatud

tööriista teostuse (sh kasutajaloo

kirjelduse ja prototüübi) kohaselt

saab kasutaja testimise alguses

valida, kas viib läbi

manuaaltestimisi või

automaattestimisi. Hanke eesmärk

on sellise tööriista arendamine,

mis võimaldab ühe testimise

jooksul kasutada manuaaltestidega

koos automaatteste nende nõuete

või elementide kohta, mille osas

sobivad automaattestid olemas on.

Nii on tehnilise kirjelduse punktis

2.4. kirjeldatud, et testimise

alguses saab kasutaja teha valiku,

kas testimisel kasutatakse

olemasolevaid automaatteste või

viiakse testimine läbi täies

ulatuses manuaalselt. Seega kui

kasutatakse automaatteste, peab

igal juhul kuvama antud tulemusi

koos manuaaltestidega, mida

automaattestid ei kata. Lisaks peab

kasutajal olema võimalus

automaatteste üldse mitte kasutada

ning viia testimine läbi täies

ulatuses manuaalselt.

Samuti on tehnilise kirjelduse

punktis 2.4. välja toodud, et

integreeritavad automaattestid ei

hõlma igal juhul kogu nõude

testimist (vaid näiteks üht või

mõnda elementi kogu nõudele

vastavuse testimises) ning

tööriista ülesehitus peab

võimaldama kasutajatel aru saada,

milliseid testimisi tuleb lisaks

automaattestide kasutamisele ja

nende tulemuste kontrollimisele

täiendavalt läbi viia ka

manuaalselt. Pakkuja on

kirjeldanud automaattestimist

eraldiseisva protsessina, mistõttu

ei ole kasutajale arusaadav,

milliseid testimisi tuleks lisaks

läbi viia manuaalselt, kuivõrd

kogu testi kasutajatele ei kuvata.

Ühtlasi testiks kasutajad üksnes

4

automaattestide võimaldamisel

üksikuid nõudeid ning mõnel juhul

isegi mitte kogu nõuet, vaid

üksnes osa sellest. See tähendaks,

et kasutajad ei saaks

automaattestide kasutamisel ühtset

raportit digiligipääsetavuse

nõuetele vastavuse

testitulemustest, vaid raporti

üksikutest nõuetest ja

elementidest. See omakorda

muudaks tööriista kasutamise

ebamugavaks ning tegu ei oleks

tehnilise kirjelduse punkti 2.2.

kohase nii algajale kui kogenud

testijale lihtsasti kasutatava

tööriistaga. Algaja testija ei

orienteeru digiligipääsetavuse

nõuetes selliselt, et suudaks

lihtsasti tuvastada automaattestide

alla mittekuuluvad testid

manuaalses testimises ning need

eraldi testida ja kahe testi

tulemused ühendada.

Seega leiab Hankija, et Pakkuja

teostus ei vasta hanke

eesmärkidele.

Detailanalüüsis

kirjeldatud

optimaalne

samaaegsete

kasutajate arvu

põhjendatus

arvestades tööriista

sihtrühma ja

eesmärke.

6 PUNKTI

Pakkuja ei ole

detailanalüüsis välja

toonud tööriista hinnangu

jõudlust optimaalse

üheaegsete kasutajate arvu

osas. Pakkuja on

põhjendanud, et üheaegsete

kasutajate arvule on

keeruline kindlat numbrit

ette näha automaattestide

jooksutamise tõttu ning

esialgsed testimised, mis

automaattestidega läbi

prooviti andsid pakkujale

pigem kindluse, et

jõudlusega probleeme ei

teki.

Pakkuja ei ole välja toonud,

kuidas nimetatud esialgseid

testimisi läbi viidi ega

andnud omapoolset

hinnangut sellele, kui palju

kasutajaid pakkuja leiab, et

tööriista üheaegselt

kasutada võiks.

Hankijal ei ole võimalik

pakkuja poolse kirjelduse

põhjal täielikult hinnata,

kas välja toodud optimaalse

kasutajate arvuga

arvestatav tööriista jõudlus

võib saada sihtrühmale

testide läbiviimisel

takistuseks. Kuivõrd

jõudlusele täpsemat

hinnangut antud ei ole, kuid

Pakkuja usub, et jõudlus

peaks olema piisav, siis ei

saa ka kindlalt öelda, et

samaaegsete kasutajate

arvu jõudlus saab

12 PUNKTI

Pakkuja on pakkumise

detailanalüüsis välja toonud,

et pakutav tööriist on

võimeline toetama vähemalt

1000 üheaegset kasutajat.

Hankija hinnangul on 1000

üheaegse kasutaja

võimaldamine piisav

tagamaks, et tööriista

jõudlus ei saaks testide

läbiviimisel takistusteks.

6 PUNKTI

Pakkuja pakub detailanalüüsi

kohaselt tööriista, mis on

võimeline toetama 20-50

üheaegset kasutajat. Pakkuja on

selgitusena lisanud, et olenevalt

Hankija poolsest serverist on

võimalik seda jõudlust

suurendada.

Vastavalt tehnilise kirjelduse p-s

1.1. väljatoodule hakkavad

tööriista kasutama kõik avaliku

sektori asutused oma veebisaitide

ja mobiilirakenduste

juurdepääsetavuse tagamiseks

ning ka märkimisväärne osa

erasektorist (nt e-kauplejad,

finantsteenuse pakkujad jpm).

Lisaks kohustusi omavatele era- ja

avaliku sektori asutustele hakkab

tööriista kasutama TTJA, et

teostada järelevalvet erinevate

veebilehtede, dokumentide ja

rakenduste digiligipääsetavuse

nõuete täitmise üle (tehnilise

kirjelduse p 1.3). Täiendavalt

võivad tööriista vastu tunda huvi

ka teised erasektori ettevõtted, kes

soovivad oma veebilehtede,

rakenduste ja dokumentide

ligipääsetavust tagada ilma sellise

kohustuse olemasoluta.

Arvestades lisaks, et testimine on

aeganõudev (tehnilise kirjelduse p

1.4) võib Hankija hinnangul saada

20-50 üheaegse kasutajaga

tööriista jõudlus sihtrühmale

testide läbiviimisel takistuseks,

kuivõrd näiteks

järelevalveprojektide ajal võivad

nii TTJA ametnikud kui ka

5

sihtrühmale testide

läbiviimisel takistuseks.

menetlusalused isikud üheaegselt

erinevaid testimisi läbi viia ning

lisaks peab samal ajal tööriist

olema kättesaadav teistele

asutustele, kes oma testimisi läbi

viia soovivad.

Pakkuja on küll välja toonud, et

olenevalt Hankija poolsest

serverist on võimalik seda jõudlust

suurendada. Küll aga ei ole

pakkuja välja toonud, mida

Hankija serverist täpsemalt

oodatakse (millistele ootustele

peab Hankija server vastama

näiteks 100 või 1000 üheaegse

kasutaja jaoks) ning Hankija ei saa

seeläbi olla kindel, kas jõudluse

suurendamine on võimalik.

Kuivõrd on võimalik, et Hankija

saab pakkuda vajalikku serverit

Pakkuja jõudluse suurendamiseks,

kuid Hankijal ei ole seda võimalik

täielikult hinnata, siis ei ole

võimalik täielikult hinnata ka

seda, kas välja toodud optimaalse

kasutajate arvuga arvestatav

tööriista jõudlus võib saada

sihtrühmale testide läbiviimisel

takistuseks.

Detailanalüüsis

kirjeldatava

tööriistas

täidetavate väljade

(mis puudutab

märkuste,

tähemärkide ja

piltide arvu ning

piltide suurust)

maksimaalse

jõudluse sobivus

mugavaks

testimiste

läbiviimiseks.

6 PUNKTI

Pakkuja on detailanalüüsis

välja toonud, et

kommetaaride

tähemärkide arvul

tehniliselt piirangut ei ole,

kuid väärkasutuse

vältimiseks tuleks lisada

näiteks 280 tähemärgi

piirang. Pildifailidele tuleb

Pakkuja poolne

mahupiirang 10MB.

Hankija peab piisavaks

tähemärkidele ja piltide

suurustele ettenähtud

mahupiiranguid, et läbi viia

mugavaid testimisi.

Pakkuja ei ole pakkumuses

välja toonud lisatavate

piltide arvu, mistõttu ei ole

võimalik täielikult hinnata,

kas jõudlus võib takistada

mugavat testimise

läbiviimist. Mugavaks

testimiseks peaks olema

kasutajatel võimalik

vähemalt iga nõude ja iga

alamlehe puhul pilt lisada

ning pakkumusest ei tule

välja, kas see oleks

võimalik. Kuivõrd

pakkumuses on aga välja

toodud, et tööriistas saab

lisada pilte ehk mitut pilti,

siis ei saa kindlalt öelda, et

kasutajad peaksid

testimisel oluliselt

lisatavate piltide arvu

piirama.

12 PUNKTI

Pakkuja ei ole

detailanalüüsis välja toonud

lisatavate fotode ja märkuste

arvu, kuid on selgitanud, et

testide läbiviimisel

üleslaetavate dokumentide

(sh piltide) ega märkuste

osas pakkuja piiranguid ei

sea ning hankija võib need

ise määrata. Tuuakse välja

soovitatav failide suuruse

piirang 30MB ja

tähemärkide piirang 8000

tähemärki.

Kuivõrd piltide ja märkuste

arvu ja mahu osas pakkuja

tegelikult piiranguid ei sea

ning Hankija võib need ise

ette näha, siis on pakutav

jõudlus igal juhul piisav, et

viia mugavalt läbi testimisi.

Hankija hinnangul on

piisavad ka soovituslikud

mahupiirangud, mida

Pakkuja on välja toonud.

12 PUNKTI

Pakkuja on detailanalüüsis välja

toonud, et tehniliselt piiranguid ei

ole, aga testitavate väljade arv

võiks jääda 100-200 vahele ning

tähemärkide arv olla piiratud 1000

tähemärgiga (koos tühikutega).

Testi piltide arv võiks olla piiratud

100 peale ning piltide

maksimaalne suurus on kuni 5MB

ühe pildi kohta.

Hankija peab ette nähtud jõudlust

märkuste arvu, fotode arvu ja

suuruse ning tähemärkide osas

piisavaks, et viia mugavalt läbi

testimisi.

6

Detailanalüüsis

esitatud tööriista

kasutajateekonna

kirjelduste või

prototüüpide

vastavus kõikidele

kohustuslikele

funktsionaalsetele

nõuetele ja hanke

eesmärkidele.

Kasutajateekonnast

või prototüübist

nähtuv tööriista

mugavus ja lihtsus

kasutajatele.

6 PUNKTI

Pakkuja poolt esitatud

sisuhalduse prototüübis ei

kuvata ning selles ei ole

muul viisil märgitud, et

TTJA kasutaja saaks

testitavaid nõudeid muuta

ja eemaldada vastavalt

tehnilise kirjelduse Tabel 1.

nõudele nr 4. Prototüübist

tuleneb küll uute nõuete

lisamise võimalus, kuid ei

tulene eelnevalt kuvatavate

nõuete muutmise või

eemaldamise võimalust.

Samas on pakkuja

detailanalüüsis välja

toonud, et sisuhalduses on

võimalik nõudeid

administreerida.

Seetõttu peab Hankija

puudust prototüübis

väheoluliseks puuduseks,

kuivõrd detailanalüüsi

kohaselt Pakkuja nõuete

haldamist pakub.

6 PUNKTI

Sisuhalduse prototüübis ja

kasutajateekonna

kirjelduses esineb

väheolulisi puudujääke, sest

nendes ei ole kirjeldatud,

millised sisuhaldamise

funktsioonid TTJA kasutajal

on. Välja on toodud, et TTJA

kasutajal esinevad sisuliselt

samad võimalused, mis

tavakasutajatel ning lisaks

on TTJA kasutajatel

erinevaid võimalusi sisu

haldamiseks. Prototüübis ja

kasutajateekonna

kirjeldustes pole kirjeldatud,

kuidas TTJA kasutajad

saavad süsteemis sisu muuta

(tehnilise kirjelduse Tabel 1.

nõuded nr 3 ja 4). Kuivõrd

neid prototüübis ja

kasutajateekonna

kirjelduses täpsemalt

kirjeldatud ei ole, siis ei ole

ka võimalik täielikult

hinnata tööriista

kasutusmugavust.

Samas, kuna pakkuja on

kõigi nõuete täitmise välja

toonud detailanalüüsis, siis

ei ole tegu olulise

puudusega.

0 PUNKTI

Pakkuja on sisuhalduse

kasutajaloo kirjelduses ja

prototüübis välja toonud statistika

esitamise testitulemuste raportis,

kuid sellise nõude täitmist ei ole

välja toodud tavakasutaja vaates.

Tehnilise kirjelduse Tabel 1. nõude

nr 30 kohaselt tuleb

testitulemustes esitada kasutaja

sellekohasel valikul täiendavaid

statistilisi andmeid. Selline nõue ei

ole tehnilises kirjelduses ette

nähtud üksnes sisuhalduse

vaatesse, vaid peab olema

võimalik tavakasutajal. Pakkuja

on nõuet valesti mõistnud ka

detailanalüüsi koostades ning

näinud ette statistika analüüsi

üksnes TTJA kasutaja

(sisuhalduse) vaatesse.

Lisaks saab Pakkuja kasutajaloo

kirjelduse ja prototüübi kohaselt

kasutaja testimise alguses valida,

kas viib läbi manuaaltestimisi või

automaattestimisi. Hanke eesmärk

on sellise tööriista arendamine,

mis võimaldab ühe testimise

jooksul kasutada manuaaltestidega

koos automaatteste nende nõuete

või elementide kohta, mille osas

sobivad automaattestid olemas on.

Nii on tehnilise kirjelduse punktis

2.4. kirjeldatud, et testimise

alguses saab kasutaja teha valiku,

kas testimisel kasutatakse

olemasolevaid automaatteste või

viiakse testimine läbi täies

ulatuses manuaalselt. Seega kui

kasutatakse automaatteste, tuleb

nende nõuete osas, mida

automaattestid ei hõlma, igal juhul

testimine läbi viia manuaalselt.

Küll aga peab kasutajal olema

võimalus automaatteste üldse

mitte kasutada ning viia testimine

läbi täies ulatuses manuaalselt.

Kasutajaloo kirjelduses ja

prototüübis aga sellist funktsiooni

ei võimaldata, kus automaatteste

kasutades saab samaaegselt teiste

nõuete osas testimisi läbi viia

manuaalselt.

Samuti on tehnilise kirjelduse

punktis 2.4. välja toodud, et

integreeritavad automaattestid ei

hõlma igal juhul kogu nõude

testimist (vaid näiteks üht või

mõnda elementi kogu nõudele

vastavuse testimises) ning

tööriista ülesehitus peab

võimaldama kasutajatel aru saada,

milliseid testimisi tuleb lisaks

automaattestide kasutamisele ja

nende tulemuste kontrollimisele

täiendavalt läbi viia ka

manuaalselt. Pakkuja kirjeldatud

üksnes automaattestide

7

läbiviimisel ei ole kasutajale

arusaadav, milliseid testimisi

tuleks lisaks läbi viia manuaalselt,

kuivõrd kogu testi kasutajatele ei

kuvataks.

Ühtlasi testiks kasutajad üksnes

automaattestide võimaldamisel

üksikuid nõudeid ning mõnel juhul

isegi mitte kogu nõuet, vaid

üksnes osa sellest, mis tähendaks,

et kasutajad ei saaks

automaattestide kasutamisel ühtset

raportit digiligipääsetavuse

nõuetele vastavuse

testitulemustest, vaid raporti

üksikutest nõuetest ja

elementidest. See omakorda

muudaks tööriista kasutamise

ebamugavaks ning tegu ei oleks

tehnilise kirjelduse punkti 2.2.

kohase nii algajale kui kogenud

testijale lihtsasti kasutatava

tööriistaga. Algaja testija ei

orienteeru digiligipääsetavuse

nõuetes selliselt, et suudaks

lihtsasti tuvastada automaattestide

alla mittekuuluvad testid

manuaalses testimises ning need

eraldi testida ja kahe testi

tulemused ühendada.

Seega ei vasta detailanalüüsis

esitatud tööriista kasutajateekonna

kirjeldus ja prototüüp kõikidele

kohustuslikele funktsionaalsetele

nõuetele ega hanke eesmärkidele.

Detailanalüüsis

esitatud esialgse

tööriista

arendamise aja- ja

tegevuskava.

12 PUNKTI

Detailanalüüsis esitatud

esialgse tööriista

arendamise aja- ja

tegevuskava on põhjalik ja

hankija soovitud osad on

välja toodud. Aja- ja

tegevuskava tööriista

arendamiseks on

hankekomisjoni hinnangul

reaalselt teostatav ja

tulemuslik.

12 PUNKTI

Detailanalüüsis esitatud

esialgse tööriista arendamise

aja- ja tegevuskava on

põhjalik ja hankija soovitud

osad on välja toodud. Aja- ja

tegevuskava tööriista

arendamiseks on

hankekomisjoni hinnangul

reaalselt teostatav ja

tulemuslik.

12 PUNKTI

Detailanalüüsis esitatud esialgse

tööriista arendamise aja- ja

tegevuskava on põhjalik ja hankija

soovitud osad on välja toodud.

Aja- ja tegevuskava tööriista

arendamiseks on hankekomisjoni

hinnangul reaalselt teostatav ja

tulemuslik.

Detailanalüüsi eest

omistatavate

väärtuspunktide

arv kokku:

36 54 30