Některé chyby a nedostatky v testech užívaných v přijímacím řízení na VŠ

Některé chyby a nedostatky v testech užívaných v přijímacím řízení na vysoké školy

Nejvíce zarazí, když v testech najdeme evidentní věcnou chybu,
i to se stává. Velmi časté jsou nepřesné formulace zadání, které umožňují dvojí výklad, a v závislosti na tom i dvě různá správná řešení. Přitom fakulta zpravidla uznává jen svůj výklad, opřený většinou jen o stanovisko autora testu. Takový postup je pochopitelně nesprávný, v testech se nesmí vyskytovat úlohy, u kterých se odborníci neshodnou na správné odpovědi.

Méně, ale stále ještě často, se objevují zcela chybné úlohy: např. správné řešení chybí nebo jsou dvě, ačkoliv je deklarováno, že u každé úlohy je právě jedno, případně je zadání úlohy zcela nesrozumitelné. Ještě závažnější jsou chyby ve správných odpovědích,
jinými slovy, za správnou je pokládána chybná odpověď, a naopak správná je vyhodnocena jako chybná. Setkali jsme se i s chybami v klíčích správných řešení, podle nichž byly vyhodnoceny testy stovek uchazečů. Kuriozitou byla situace, kdy u úlohy s nabídkou odpovědí a), b), c), d) bylo v klíči správných odpovědí uvedeno f) - pochopitelně, že nikdo z uchazečů neměl úlohu v souladu s klíčem. Pozoruhodné je, že si nikdo nevšiml nulové úspěšnosti úlohy a chyba byla objevena až při naší analýze dlouho po uzavření celého přijímacího řízení. Je nepominutelným požadavkem, aby testy byly bezchybné. Když k chybě dojde, musí se hledat řešení, které eliminuje nepříznivé dopady chyb při zachování rovných podmínek pro všechny účastníky zkoušek (např. vyloučením vadné úlohy z celkového skóre, ale u všech verzí zkoušky).

Hlavní příčina uvedených problémů spočívá v tom, že při vývoji testů nejsou dodržovány ani elementární zásady metodologie tvorby testů. Jedna z důležitých zásad říká, že každá úloha musí být nezávisle odborně posouzena a všechny úlohy, u kterých panují pochybnosti (zejména o správnosti či jednoznačnosti řešení, ale i přesnosti zadání, formulaci apod.), musí být vyřazeny či změněny.

Chyby se pochopitelně mohou objevit i na úrovni dalšího zpracování zejména při pořízení dat z testů, pokud se testy zpracovávají na počítači, resp. při odečtu počtu bodů, pokud jsou zpracovávány ručně.

Velmi vážným a bohužel velmi častým nedostatkem je různá obtížnost různých verzí
zkoušky.
Průměrné výsledky dvou libovolných verzí testu vyjádřené v procentech by se rozhodně neměly lišit více než o jeden procentní bod. U některých přijímacích zkoušek jsme zjistili rozdíl mezi nejsnazší a nejobtížnější verzí plných 14,4 procentního bodu! Pravděpodobnost přijetí byla u účastníků, kteří řešili nejobtížnější verzi, 5x menší (!!!), než u těch, kteří dostali nejsnazší verzi. Tyto informace zpravidla vysoké školy nezveřejňovaly, a často ani nezjišťovaly, nový vysokoškolský zákon jim ovšem jejich zveřejnění jasně ukládá. Bude jistě zajímavé sledovat, jak budou fakulty situaci řešit, neboť evidentní rozdíly mohou být jistě oprávněným důvodem k podání odvolání. Poznamenejme, že pokud rozdíly mezi verzemi nejsou příliš velké, je problém technicky snadno řešitelný vhodným přepočtem bodů či ještě lépe hodnocením pomocí pořadí (např. percentilů) namísto skóre.

Méně patrné, ale v důsledku možná ještě závažnější jsou chyby, které snižují spolehlivost (přesnost) zjištěných výsledků neboli reliabilitu zkoušky.
Reliabilita je číslo menší než 1, které udává spolehlivost zjištěných výsledků. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. (Teoreticky jde o korelaci mezi dvěma po sobě následujícími provedeními téže zkoušky u stejné skupiny testovaných za týchž podmínek.) Všeobecně uznávané hranice reliability jsou: reliabilita nad 0,85 (někdy nad 0,90) se pokládá za dostatečnou k tomu, aby na základě jedné zkoušky bylo možné činit rozhodnutí, minimálně takovou reliabilitu by tedy měly mít přijímací testy na vysoké školy. Při reliabilitě nad 0,65 lze zkoušku použít jako jeden z podkladů pro rozhodnutí, pod 0,65 již nelze zkoušku pokládat za spolehlivý ukazatel a nelze ji užít k rozhodování. Podle našich rozborů je bohužel reliabilita přijímacích zkoušek na vysoké školy většinou nižší než 0,65. Jaké byly reliability testů v rámci NSZ, je uvedeno v přehledu na jiném místě.

Na nízké reliabilitě se nejvíce podílejí: malý počet úloh v testu, úlohy, které špatně diskriminují (tj. schopní uchazeči je neřeší o mnoho lépe než méně schopní), a užívání nesprávných typů úloh. Zcela nevhodné jsou z tohoto hlediska příliš těžké znalostní úlohy vyžadující okrajové a speciální znalosti. Přitom právě takovými úlohami se některé přijímací zkoušky jen hemží. Zcela mylně se při tom argumentuje tím, že snazší a méně okrajové úlohy by uchazeče dostatečně nevytřídily. Nevhodné jsou také úlohy s výběrem odpovědi, kde správných odpovědí může být několik, popřípadě všechny či žádná, a to často ještě v kombinaci se složitým kódování vybrané odpovědi.

Každý učitel střední školy jistě zná několik případů, kdy byl přijat ten méně schopný, co se vždy špatně učil a byl třeba ještě nervově labilnější, zatímco schopnější přijat nebyl. Právě takové zkušenosti (nechme stranou, že by roli hrála protekce) logicky vedou k tomu, že uchazeči o vysokoškolské studium si podávají mnoho přihlášek. Je-li totiž přijetí věcí náhody, mohu svou šanci zvýšit hlavně tím, že získám větší počet pokusů (budete-li 10x házet kostkou, vaše naděje, že vám padne alespoň jednou šestka, je větší, než když házíte jen dvakrát). Pokud by přijímací zkoušky měly vysokou reliabilitu, vliv náhody by byl malý, a podávání mnoha přihlášek by proto bylo zbytečné: kdybyste absolvovali přijímací zkoušky na všech sedm lékařských fakult, byly by vaše výsledky na všech zhruba stejné, to znamená, že pokud umíte, dostali byste se na všech sedm, a pokud neumíte, tak na žádnou.

Z našich analýz mj. vyplývá, že kvůli nízké reliabilitě zkoušek je každoročně na vysoké školy přijato nejméně 14 000 uchazečů, tj. skoro jedna třetina, jejichž schopnosti jsou nižší než některých nepřijatých. Dokonce je přijato více než 5500 uchazečů, kteří jsou ve skutečnosti svými schopnostmi od hranice přijetí odděleni ještě dalšími 15 % přihlášených (a nepřijatých) s lepšími předpoklady. Na technických oborech je to jistě jednou z příčin toho, že úspěšnost studia v prvním ročníku je nízká, ale i na školách, kde zájem mnohonásobně přesahuje možnosti a kde i nekvalitní test zpravidla vybere nadprůměrné uchazeče, dochází k rozsáhlému plýtvání lidským potenciálem a kvalita přijatých uchazečů je podstatně nižší, než by být mohla. Nelze také přehlédnout to, že vinou nekvalitních testů je každoročně zasaženo do osudů nejméně 14 tisíc mladých lidí, kteří nebyli přijati, ač přijati být měli.

Následující graf ilustruje vztah mezi reliabilitou testu, celkovým podílem přijímaných a pravděpodobností, že nebude přijat uchazeč s velmi dobrými předpoklady, tj. takový, jehož schopnosti jsou lepší než poloviny všech přijatých (leží na mediánu přijatých):

Jak je vidět, nejproblematičtější je situace u těch fakult, na kterých je největší převis poptávky. Právě tam by měla být dostatečné reliabilitě testu věnována největší pozornost.

Stranou jsme zde ponechali problémy týkající se vlastního průběhu zkoušek, kterých se u přijímaček vyskytuje celá řada. Kromě často prostého organizačního nezvládnutí mnohahodinové čekání, zmatky, fronty, nedostatek formulářů apod., které se většinou týkají všech uchazečů zhruba stejně, se vyskytují i závažnější problémy, které někoho zvýhodní a jiného naopak poškodí. Uveďme pár příkladů: Informace, které dostávají uchazeči, jsou v různých skupinách různé, např. jedna skupina ví, že je vždy jediná správná odpověď, druhá skupina se naopak dozví, že správných odpovědí může být několik. V některé skupině je a v jiné není dodržena předepsaná doba. V některé skupině připustí dozorující opisování či uchazeči sedí hodně blízko, v jiné opisovat nejde. Někteří uchazeči nastoupí k ústnímu zkoušení podle pozvánky, jiným je v 17 hodin sděleno, že mají přijít druhý den ráno (co má v Praze udělat uchazeč z Ostravy, který nemá zajištěno ubytování, zpravidla fakulty neuvádějí).

Jedním z cílů Scio je usilovat o nápravu tohoto neutěšeného stavu. Prostředky, jak toho dosáhnout, jsou různé. Jedním z nich je, že se v našich Národních srovnávacích zkouškách snažíme ukázat, jak by přijímací zkoušky vypadat měly, a to po všech stránkách: od kvalitního, profesionálně připraveného testu, přes dobrou a všude stejnou organizaci, kompletní informování účastníků a bezchybné vyhodnocení až po úplnou transparentnost všech kroků při vyhodnocení. Dalším krokem, který jsme již učinili, je podrobné informování fakult a spolupráce s nimi.

Velmi účinným nástrojem je už pouhé zveřejňování zjištěných nedostatků, tak jak to činíme v tomto článku. Vy, jako účastníci přijímacího řízení, můžete nám, sobě i budoucím uchazečům pomoci tím, že nás budete o všech problémech, na které narazíte, informovat, ať už jde o chyby v testech, "podivné" úlohy nebo o organizační a další nedostatky. Udělat to můžete buď písemně, nebo e-mailem
. S konkrétními informacemi v ruce je pak snazší přimět fakulty, aby provedly změny, které jsou žádoucí, ale do kterých se jim nechce.