Způsob vyhodnocení
Výsledky uchazečů a proč je nutná harmonizace skóre?
V prvním kole přijímacího řízení se konají přijímací zkoušky nejméně ve dvou termínech. V rámci jednotlivých termínů jsou použity rozdílné varianty testů. Různé varianty jsou používány hlavně proto, aby se uchazeči nemohli setkat ve dvou termínech prvního kola se stejnými testy v případě, že obě školy, na které se hlásí, využijí pro přijímací zkoušky testy Scio.
Podle novely školského zákona mají být varianty testů srovnatelné z hlediska jejich obtížnosti, protože střední škola sestavuje jedno pořadí úspěšnosti ze všech uchazečů bez ohledu na to, kterého termínu se zúčastnili.
Ačkoli má Scio v rámci ČR největší zkušenosti s vývojem testů a dokáže vytvořit testy, které jsou v základních parametrech vyrovnané, přesto nelze nikdy u dvou rozdílných testů mluvit o jejich stoprocentní srovnatelnosti.
V případě, kdy bude jeden z testů o něco těžší než druhý, není již jistě spravedlivé srovnávat uchazeče jen podle dosaženého počtu bodů (skóre), protože absolventi těžšího testu by byli obecně znevýhodněni.
Aby bylo možné srovnávat všechny uchazeče mezi sebou, je nutné provést tzv. harmonizaci skóre. Zjednodušeně řečeno, jde o proces, kdy body účastníka z jednoho testu jsou přepočteny na body, kterých by teoreticky dosáhl, kdyby v danou chvíli absolvoval test druhý. Výsledkem je možnost srovnání všech účastníků více termínů dohromady při zohlednění rozdílů v obtížnosti testů.
Podrobnosti o metodě
Harmonizace je světově používaný a ověřený postup, jehož jednotlivé fáze jsou podrobně popsány v literatuře. Obecně neexistuje jeden stanovený postup srovnávání. Existuje řada metod, které je možné použít. U typu dat, která jsou u PZ k dispozici, je nejvhodnějším postupem srovnávání, ekvipercentilová metoda.
Jde o statistickou metodu používanou desítky let v zahraničí a je také podrobně popsána v literatuře. [1]U přijímacích zkoušek jde o použití ekvipercentilové metody u ekvivalentních skupin na celém souboru testovaných v rámci jednotlivých testů. Vychází se u ní ze srovnávání stejných percentilů pro oba termíny.
Percentil udává procento uchazečů v rámci absolvovaného termínu, které uchazeč v testu předběhl. Stejný percentil z prvního a z druhého termínu může znamenat jinou úroveň dosaženého skóre např. v lehčím testu může být uchazeč s 10 získanými body lepší než 35 % účastníků a v těžším testu mu postačí 9 bodů, aby byl lepší než 35 % účastníků.
Co se stane po použití harmonizace?
Jako výsledek harmonizace mohou nastat tři situace, i když jedna z nich pouze velmi teoreticky.
V případě, že by test pro druhý termín byl lehčí než pro první termín, znamenalo by to, že by uchazeč v lehčím termínu dosáhl pravděpodobně většího počtu bodů, než by dosáhl v těžší variantě, proto je jeho skóre nutné upravit směrem dolů, tedy část bodů z jím získaného skóre se odečítá. V opačné variantě, kdy test druhého termínu byl těžší, se body uchazeči přičítají. Teoreticky existuje i možnost stejné úrovně obou testů, pak zůstávají body uchazeče v nezměněné podobě.
Pro ilustraci si představte přijímací zkoušky na střední školy. Jak již bylo uvedeno, metoda funguje zjednodušeně tak, že srovnává stejné percentily u obou termínů a porovnává jim odpovídající skóre (viz Tabulka 1).
Tabulka 1 – způsob harmonizace skóre účastníků 2. termínu prvního kola PZ na SŠ 2009
Tabulka graficky zobrazuje všechny uvedené možnosti.
V možnosti A stačilo k 50. percentilu (zjednodušeně být lepší než 50 % uchazečů) získat 27 bodů na rozdíl od prvního termínu, kde bylo třeba získat 30 bodů. V tomto případě je test ve druhém termínu evidentně těžší, tj. je těžší zde získat body a znamená to, že je nutné přidat rozdílové tři body.
Naopak ve variantě C by šlo o odebrání 3 bodů z výsledného skóre.
Ve skutečnosti může nastat více variant najednou, záleží na tvaru distribučních funkcí počtu bodů získaných uchazeči v rámci příslušného termínu, ročníku a předmětu. Takže ačkoli jeden test může být v průměru těžší než druhý, pro konkrétní skupiny uchazečů (děleno na základě počtu získaných bodů) tomu může být i obráceně (viz Graf 1).
Graf 1 – Harmonizace skóre uchazečů druhého termínu (ilustrativní příklad)
Z uvedeného příkladu je vidět, že pro uchazeče do 15,5 percentilu je druhý termín těžší než první, ačkoli všeobecně – tj. průměrně - je u testu druhého termínu vyšší úspěšnost jeho řešení (68 % oproti 60 % v 1. termínu). Pak může nastat situace, že uchazeči s počtem získaných bodů 21,4 budou body přidány, uchazeči s 21,6 b naopak budou body ubrány.
Vzhledem k charakteristikám distribučních funkcí však bude vzájemné pořadí těchto dvou uchazečů zachováno.
Po přepočtení všech výsledků z druhého termínu (a případných dalších termínů) prvního kola přijímacího řízení již bude škola schopná seřadit všechny uchazeče podle dosaženého počtu bodů a rozhodnout o jejich přijetí či nepřijetí.
Kromě hodnoty harmonizovaného skóre bude každému z testovaných v prvním kole vypočtena hodnota „harmonizovaného“ percentilu, která bude v praxi odpovídat procentu uchazečů za daný obor.
