Méně než 0,5 % úloh v přijímacích testech od Scio na vysoké školy se změní na základě veřejných námitek účastníků. Když o tom na odborné konferenci v Haagu mluvila naše expertka na testování, v publiku to vzbudilo překvapení. Takto otevřený přístup k chybám není v zahraničí běžný.
Každý rok čekají tisíce studentů a studentek přijímací zkoušky, jejichž výsledek rozhodne o jejich další studijní dráze. Málokdo přitom přemýšlí nad tím, co se děje, když se v tak důležitých testech vyskytne chyba. Ignoruje se? Zamlčí? Ve Scio máme na tuto otázku jasnou odpověď – chyby přiznáváme, prošetříme a případně opravíme.
Na tisíc úloh připadají v testech NSZ (Národní srovnávací zkoušky od Scio, pozn. red.) statisticky zhruba tři chybné. Chyby v testech nejsou selháním, ale matematicky nevyhnutelnou součástí procesu. Ve Scio každoročně vytvoříme tisíce originálních úloh, přičemž každá z nich prochází komplexním procesem schvalování a úprav, do kterého jsou zapojeny až desítky odborníků a odbornic, a který trvá až rok. I přesto se může stát, že někdo z uchazečů pochopí formulaci úlohy odlišně, než autoři zamýšleli. Důležitá proto není jen prevence, ale i transparentní reakce, když k pochybnosti dojde.
Scio zavedlo systém veřejné oponentury, která v mezinárodní praxi testování prakticky neexistuje. Funguje jednoduše – ihned po skončení zkoušky jsou účastníkům zveřejněny zadání testů i klíče správných řešení. Kdokoli je přesvědčen o tom, že zadání obsahuje chybu nebo nejednoznačnost, může podat námitku online.
Námitka je přístupná i všem ostatním účastníkům zkoušky, kteří se k ní také mohou vyjádřit. Pokud uchazeč na své námitce trvá a potvrdí ji, dostává se námitka ke garantovi testu, tedy odborníkovi, který za daný test nese hlavní zodpovědnost. Ten námitku posoudí a napíše k ní vyjádření, v němž může úlohu hájit, nebo naopak sám navrhnout její úpravu
Potvrzené námitky spolu s vyjádřeními garantů posuzuje na Scio nezávislá odborná komise složená z externích odborníků a odbornic – například právníků, matematiků, logiků i nejúspěšnějších řešitelů a řešitelek NSZ. Komise rozhoduje hlasováním o každé námitce zvlášť, přičemž rozhodnutí provází živá diskuse. Námitka může být zamítnuta jako neopodstatněná, komise může uznat více správných odpovědí nebo úlohu zcela vyřadit z hodnocení.
Nezávislost komise je v hodnocení námitek zásadní. Konečné rozhodnutí sice přísluší Scio, avšak pokud by se doporučením komise neřídilo, musí svůj postup jasně odůvodnit.
Výsledky systému veřejné oponentury za akademický rok 2023/24 hovoří za vše. V sedmi termínech NSZ bylo zadáno celkem více než tři tisíce úloh. Účastníci podali 358 námitek. Z toho nezávislá komise akceptovala změnu u 13 úloh – tři úlohy byly vyřazeny a u deseti bylo uznáno více správných odpovědí. Méně než 0,5 % úloh prošlo změnou. Toto číslo se přitom napříč lety příliš nemění. Testy NSZ jsou navíc konstruované tak, aby svůj účel plnohodnotně splnily i v případě, kdy by bylo nutné vyřadit až 10 % úloh.
Tato čísla prezentovala expertka na testování ze Scio Barbora Luňáková na mezinárodní konferenci AEA Europe v Haagu loni na podzim. Zahraniční kolegové neskrývali překvapení. Podobný systém žádná jiná testovací organizace nemá
Většina zahraničních testovacích organizací funguje jinak. Testy po zkouškách nezveřejňují, protože úlohy recyklují a analyzují v tzv. item banks a námitky, pokud se objeví, řeší neveřejně. Logika neveřejného námitkového procesu je pochopitelná: přiznat chybu veřejně může vypadat jako přiznání nekompetentnosti.
Otevřenost vůči pochybnostem však není slabost, ale záruka kvality. Interně to popisujeme jako "zdravou míru paranoie". Raději se ptáme, jestli je vše v pořádku, než abychom to předpokládali. Přijít s námitkou totiž v důsledku prospívá všem. Systém oponentury podněcuje i samotné autory úloh k větší přesnosti a jednoznačnosti při tvorbě úloh.
Veřejná oponentura má přímý dopad na to, jak studenti NSZ vnímají. Oceňují, že mají možnost se k testům vyjádřit, a považují systém za spolehlivý korektivní mechanismus. To posiluje celkovou důvěru v NSZ a v to, že výsledek zkoušky závisí na odborném a transparentním procesu.
Systém má i stinnou stránku. Pokud komise akceptuje námitky a Scio musí přepočítat výsledky, mění se předběžné percentilové skóre účastníků. Scio si tuto citlivou část procesu vyhodnocení uvědomuje a snaží se přepočty výsledků komunikovat co nejrychleji a nejsrozumitelněji. Celý proces od zkoušky po finální výsledky přitom trvá zpravidla do dvou týdnů.
Ve Scio věříme, že transparentnost a kvalita testování jdou ruku v ruce. Veřejná oponentura neslouží jako marketingový nástroj. Je to systémová pojistka, díky níž NSZ mohou každým rokem přinášet přesnější a spravedlivější výsledky studentům i vysokým školám. A to stojí za to přiznat i případné chyby.
Podrobný popis systému veřejné oponentury včetně složení nezávislé komise je dostupný na www.scio.cz/verejna-oponentura.
Bc. Barbora Luňáková, odbornice na testování ve Scio
Ženy dosahují v přijímacích testech na vysoké školy z Obecných studijních předpokladů v průměru o 10 percentilových bodů horších výsledků než muži, přestože mají často lepší známky ve škole. K tomuto rozdílu může přispívat i menší ochota žen riskovat. A jakou roli hraje v rozdílnosti výsledků podle pohlaví struktura a obsah úloh?
Testování není mrtvá disciplína. Na konferenci AEA v Haagu řešili odborníci ze 40 zemí zásadní otázku: Jakým způsobem testovat v době rozmachu umělé inteligence? České zkušenosti s veřejnou oponenturou u testů Národních srovnávacích zkoušek jsou unikátní a pro zahraniční odborníky inspirativní.
