Obecné teorie srovnávaní testů (Test Equating)

Modely srovnávání testů

Srovnávací model náhodných skupin (Random Groups Design)

Tento model je využíván, pokud máme v jednom termínu dvě varianty stejného testu (např. testu OSP). Skupina testovaných je náhodně rozdělena na dvě poloviny, z nichž každá řeší jednu variantu testu. Obvyklá metoda rozdělení je tzv. "spiraling", kdy jsou obě varianty v jedné místnosti rozděleny střídavě. První testovaný píše variantu A, druhý variantu B, třetí variantu A atd. Při takovémto náhodném rozdělení můžeme obě podskupiny považovat za rovnocenné (equivalent) a rozdíly ve statistických parametrech obou variant testu dosažených příslušnou podskupinou (průměrná úspěšnost, rozptyl skóre) přímo považujeme za rozdíly těchto dvou variant (bez vlivu úrovně testované skupiny). Tato metoda je použita pro potřeby NSZ.

Srovnávací model společných úloh pro neekvivalentní skupiny (Common -Item Nonequivalent Groups Design)

Tento model je užíván v případech, kdy dvě varianty testu řeší dvě různé (neekvivalentní) skupiny. Typickým příkladem jsou dva různé termíny jednoho testu, kdy ekvivalent skupin nejsme schopni nijak zaručit (např. hypotéza, že na první termíny se hlásí zodpovědnější uchazeči než na poslední. Dopad tohoto vlivu není možné předem odhadnout). Rozdíly v průměrné úspěšnosti a dalších statistických charakteristikách obou variant jsou ovlivněny nejen rozdílností variant, ale také rozdílností testovaných skupin. V tomto modelu varianta A a varianta B mají společnou podmnožinu úloh. Na těchto společných úlohách se porovnávají rozdílné úrovně obou testovaných skupin. A poté je možné provést srovnání obou variant očištěné od vlivu rozdílnosti skupin. Tato metoda je použita pro potřeby NSZ.

Další užívané srovnávací modely

Mezi další užívané srovnávací modely patří Model jedné skupiny (Single Group Design), kdy obě varianty testu jsou distribuovány stejné skupině testovaných, a Vyvážený model jedné skupiny (Single Group Design with Counterbalancing), kdy jsou obě varianty opět testovány na jedné skupině, ale polovina testovaných absolvuje nejprve variantu A a poté variantu B, zatímco druhá polovina řeší testy v opačném pořadí. Tento model eliminuje vliv zkušenosti s testem, který ovlivňuje úspěšnost druhého testu v pořadí. Oba tyto modely nejsou pro NSZ vhodné.

Metody srovnávání testů

Dvěma nejužívanějšími metodami srovnávání testů jsou metoda lineární a metoda ekvipercentilová. Lineární metoda je založena na srovnávání průměrné úspěšnosti a rozptylu skóre obou variant. Ekvipercentilová metoda je založena na porovnávání kumulativních distributivních křivek. Zjednodušeně řečeno, ekvipercentilová metoda srovnává účastníky, kteří v jednotlivých variantách dosáhli stejného percentilu (předstihli stejné množství ostatních účastníků dané varianty). Na rozdíl od lineární metody je ekvipercentilová metoda přesnější na celé škále skóre. Proto byla pro potřeby NSZ zvolena ekvipercentilová metoda a v dalším textu je podrobně vysvětleno její konkrétní užití.

Ekvipercentilová metoda (Equipercentile Equating)

Ekvipercentilová metoda je založena na pojmu percentil skóre, který pro dané skóre uvádí, kolik procent z testovaných dosáhlo nižšího nebo stejného skóre (někdy se v definici uvažuje pouze nižší skóre, což je z faktického hlediska rovnocenné). Srovnání skóre z jedné varianty se skórem z druhé varianty pak dosáhneme tak, že ke každému skóre z první varianty přiřadíme skóre z druhé varianty, které má stejný percentil. Předpokladem ekvipercentilové metody je, že skupiny testovaných v obou variantách testu jsou rovnocenné, což platí například pro model náhodných skupin, kde se tato metoda hojně využívá. Přesná matematická definice je pak následující:

Ekvipercentilová metoda (PDF)

Vyhlazování (smoothing) ekvipercentilové srovnávací funkce (PDF)

Zřetězená ekvipercentilová metoda (Chained Equipercentile Equating)

Pro srovnávací model společných úloh pro neekvivalentní skupiny se užívá zřetězená ekvipercentilová metoda. Jak již bylo napsáno výše, tento model využívá společné množiny úloh, které se vyskytují ve variantě X i Y (označení X a Y užíváme, protože se obecně jedná o dvě varianty testu použité v jiných termínech). Srovnávání se pak skládá ze dvou ekvipercentilových srovnání na stejné skupině testovaných. Nejprve se skóre z varianty X ekvipercentilově srovná se skórem na společných úlohách. Společné úlohy se zde uvažují jako samostatný test, který řešila stejná skupina lidí jako variantu X. Tytéž společné úlohy řešila také skupina lidí testovaných variantou Y. Opět můžeme skóre ze společných úloh (tentokrát řešených skupinou lidí z varianty Y) ekvipercentilově srovnat se skóre z varianty Y. Spojením (zřetězením) těchto dvou srovnávání dostaneme srovnání skóre varianty X se skórem varianty Y. Přesná matematická definice je pak následující:

VZOREC matematické definice (PDF)

Použitá literatura:

Kolen, M.J. & Brennan, R.L. (2004). Test Equating, Scaling, and Linking: Methods and Practices (2nd ed.). New York: Springer-Verlag

Livingston, S.A. (2004). Equating Test Scores (without IRT). Princeton, NJ: Educational Testing Service.

Wang, T., Lee, W.-C., Brennan, R. J., & Kolen, M. J. (2006). A Comparison of the Frequency Estimation and Chained Equipercentile Methods Under the Common-Item Non-Equivalent Groups Design. Iowa City: CASMA Research Report N.17.