Harmonizace výsledků NSZ

Byl/a jsem u testu OSP a moje varianta mi přišla obtížnější než varianta mého souseda. Nepřijde mi to spravedlivé. 

Testy u NSZ jsou sestavovány tak, aby si obtížností byly co nejblíže. Není ale realisticky možné zajistit, aby dva různé testy byly navlas stejně obtížné. Proto jsou výsledky z NSZ předávány ve formě percentilu, a nikoli skóre. Uchazeči jsou mezi varianty A a B rozdělování náhodně, a přepočet na percentil tak umožňuje porovnat jejich znalosti a dovednosti, i když se varianty z hlediska obtížnosti mírně liší.

Uvažujme hypotetickou situaci: mějme dvě varianty testu, A a B. V každé z nich lze získat maximálně 50 bodů. Varianta A je o něco těžší než varianta B. Uchazeč, který by ve variantě A získal 25 bodů, by mohl ve variantě B získat se stejnými znalostmi a dovednostmi například 27 bodů, protože varianta B je jednodušší. Pokud by se řešitelé variant A a B navzájem porovnávali pomocí získaného počtu bodů, nebylo by to spravedlivé. Body však můžeme převést na percentil. U varianty A by uchazeč získal například percentil 50 - jeho znalosti a dovednosti by byly stejné nebo lepší než u poloviny zbylých řešitelů. U varianty B by tento uchazeč získal také percentil 50 - i zde by jeho znalosti a dovednosti byly stejné nebo lepší než u poloviny zbylých řešitelů. Výsledek v podobě percentilu již umožňuje spravedlivé srovnání. 

Ke kterému termínu NSZ mám jít, abych měl/a největší šanci na dobrý výsledek?

Nezáleží na tom, ke kterému termínu půjdete, protože výsledky jsou přepočítávány tak, aby byly srovnatelné napříč všemi termíny daného roku. Nezáleží tedy na tom, jestli budete skládat test v prosinci nebo třeba v březnu. 

Co znamená, že jsou výsledky “přepočítávány tak, aby byly srovnatelné napříč termíny”?

Aby byly výsledky srovnatelné, je potřeba při jejich výpočtu ošetřit dvě věci: rozdílné testy a rozdílné skupiny řešitelů. 

• Co se týče rozdílných testů: Žádné dva testy nemohou být přesně stejně obtížné. Například test v prosinci může být mírně jednodušší nebo mírně obtížnější než test v březnu, i když tyto rozdíly bývají malé. Proto jsou výsledky předávány ve formě percentilu, nikoli ve formě skóre (počtu bodů). Pak totiž nezáleží na tom, kolik máte přesně bodů (tzn. jak obtížný test jste řešili), ale kolik procent řešitelů se svými body předstihnete. 
• Co se týče rozdílných skupin řešitelů: U různých termínů mohou být odlišné skupiny uchazečů z hlediska znalostí a dovedností. V takovém případě lze percentily harmonizovat - přepočíst na jednotnou škálu, která je platná pro celý školní rok, nikoli pouze pro daný termín NSZ. Harmonizovaný percentil umožňuje porovnat uchazeče různých termínů NSZ navzájem. Nezáleží pak, ke kterému termínu NSZ se vydáte a jestli zrovna k tomu danému termínu dorazí uchazeči s vyššími nebo s nižšími znalostmi a dovednostmi.

Jak je možné porovnat uchazeče různých termínů navzájem?

Harmonizace, tedy přepočet výsledků na jednotnou škálu, probíhá s využitím tzv. panelového testu. Před zahájením školního roku proběhne testování, během kterého několik stovek uchazečů vyřeší panelový test. Bloky úloh z panelového testu se pak vkládají do testů v jednotlivých termínech NSZ. Úlohám, které se nacházejí jak v panelovém testu, tak v NSZ, se říká kotvící úlohy. 

Můžeme se pak podívat, jak řešili tytéž kotvící úlohy lidé u prvního termínu NSZ a lidé u panelového testování. Díky tomu lze porovnat znalosti a dovednosti řešitelů NSZ a řešitelů panelového testu. Totéž lze pak provést pro druhý a další termín NSZ. 

Tento postup umožňuje porovnat znalosti a dovednosti řešitelů každého termínu NSZ s řešiteli panelového testu. Tím lze v důsledku porovnat znalosti a dovednosti řešitelů jednotlivých termínů NSZ navzájem a přepočítat výsledky na jednotnou škálu. 

Jaké konkrétní metody se k harmonizaci využívají?

Prvním krokem je vždy tzv. analýza odlišného fungování úloh. Tato analýza slouží k tomu, abychom ověřili, že se kotvící úlohy (tzn. úlohy společné panelovému testu a NSZ testu) “chovají” v obou testech stejně. Může se totiž například stát, že když některá kotvící úloha následuje v jednom testu po obtížné úloze, tak vychází v tomto testu jako těžší, protože ji řešitelé častěji přeskakují. K harmonizaci se použijí pouze ty kotvící úlohy, které se chovají v obou propojovaných testech stejně. Samotná harmonizace se pak provádí pomocí zřetězené ekvipercentilové metody