Vývoj testu
Vývoj standardizovaného testu je sofistikovaný proces, do kterého se zapojuje množství lidí a má jasně definované kroky.
Specifikace testu
Nejdříve je nutné specifikovat, co chceme testovat a proč. Vymezíme tzv. doménu (tzn. téma, obor) testu, například matematika, ČJ, OSP, klíčové kompetence, atd. Poté vybereme, jaké konkrétní okruhy úloh chceme do testu zařadit a kolik jich má být, to je tzv. specifikace testu. Specifikace testu zásadně ovlivňuje podobu úloh. Aby testování mělo smysl, musíme si říct, jak chceme výsledků testu využít, proč vlastně testujeme. Definujeme cíle testování. Ty mohou být různé – srovnání žáků, srovnání škol, ověření znalostí žáků, zjištění znalostí žáků atd. Cíle testování determinují postup sestavování a vyhodnocování testu.
Metody pro sestavování a vyhodnocování testů se volí různé právě podle cílů, kterým má test vyhovět. Různé metody vyhodnocení testu poskytují různé informace, různé metody sestavování a vyhodnocení jsou rovněž různě náročné a nákladné.
Například pro srovnání žáků potřebujeme zajistit, aby sestavovaný test v dané doméně především dobře rozlišoval mezi žáky navzájem, tedy aby lepší žáci dosahovali lepších výsledků než ti horší. To zní velmi jednoduše, ale tento jednoduchý předpoklad musí být splněn pro všechny zúčastněné žáky a v celé škále jejich potenciálních znalostí a vědomostí. Rozlišit žáky výrazně dobré od výrazně špatných je snadné, rozlišit vynikající žáky od nadprůměrných je již obtížnější.
Chceme-li ověřovat dosažení určitého stupně znalostí nebo dovedností, je potřeba mít nejdříve popsaná kritéria, která daný žák musí splnit. Například jsou popsaná kritéria jazykové vybavenosti dle evropského referenčního rámce nebo kritéria pro získání řidičského průkazu. Sestavovaný test pak ověřuje dosažení určité (předem definované) úrovně.
Při specifikaci testu a typů úloh (a i v dalším průběhu jejich tvorby) je potřeba dbát na to, aby všechny úlohy testovaly jen a pouze to, co mají skutečně testovat. Chceme-li danou úlohou zjistit, zda žáci ovládají procenta, neměli bychom použít složitou slovní úlohu, jejíž pochopení předpokádá vysokou úroveň čtenářské gramotnosti.
Vývoj úloh
Druhým krokem vývoje testu je shromáždění dostatečného počtu úloh (úlohy bývají obvykle označovány jako „položky“ testu). Obvyklým požadavkem je originalita úloh, proto se většinou pro každé testování vytvářejí úlohy nové. Vývoj úloh patří mezi organizačně nejnáročnější části vývoje testu a zapojuje se do něj nejvíce lidí. Při vývoji profesionálního testu je obvykle třeba vytvořit nejméně dvojnásobný počet úloh, než kolik jich bude v testu skutečně použito. To proto, že v dalším průběhu vývoje úloh a testu musí být řada úloh vyřazena. Buď z důvodu nevhodnosti úlohy (úloha je nekorektně zadaná, neodpovídá specifikaci apod.) nebo nesplňuje technická kritéria (není dostatečným přínosem pro měřicí funkci testu).
Autor
Úkolem autora je vytvořit samotnou úlohu. Může se zdát, že autor prostě vytvoří dobrou úlohu a tím je úloha hotova, ale není tomu tak. Autorem vývoj úlohy pouze začíná. Na vývoji jednoho testu také obvykle pracuje více autorů úloh.
Garant
Garant koordinuje práci autorů a pomáhá jim dostát formálním požadavkům na úlohy. Také provádí první kontrolu korektnosti úloh a posuzuje, zda úloha zapadá do specifikace testu. Garant je ústřední postavou tvorby úloh pro test, neboť přijímá od autora úlohy a později zapracovává připomínky, které vyvstanou v průběhu dalšího vývoje.
Oponent
Úkolem oponenta je každou úlohu si přečíst, zhodnotit její korektnost, kvalitu a jak vyhovuje specifikaci. Na základě připomínek oponenta potom garant úlohu upravuje. Oponentů opět bývá obvykle více, aby se shromáždilo co nejvíce relevantních připomínek a byla zajištěna co nejvyšší kvalita úloh. Ze stejného důvodu mohou oponentury probíhat opakovaně.
Pretestace
Autor, garant i oponent bývají zpravidla specialisté na vývoj testu nebo odborníci v doméně testu. Avšak jejich pohled na úlohy může být od cílové skupiny testu (ve vzdělávání obvykle žáci a studenti) značně odlišný. Proto se k jednotlivým úlohám, podobně jako oponenti, vyjadřují také vybraní jednotlivci z cílové skupiny testu (například žáci). Jejich připomínky jsou důležité zejména pro zajištění srozumitelnosti zadání (úloha srozumitelná pro dospělé nemusí být srozumitelná pro děti) apod.
Pilotáž
Pilotáž je fáze vývoje testu, kdy jsou zjišťovány či ověřovány funkční parametry úloh a celého testu. Ověřuje se například, zda žáci zvládají test vyřešit v předpokládaných časových limitech, zjišťují se parametry úloh potřebné pro vyhodnocování testů či se sbírají data nutná pro zajištění srovnatelnosti testů. Pilotáž patří mezi organizačně nejnáročnější fáze vývoje, neboť je třeba zajistit vhodně vybranou skupinu žáků (obvykle reprezentativní vzorek vzhledem k populaci žáků, kterou hodláme testovat) a nechat je test vyřešit za podmínek co nejvíce odpovídajících skutečnému testování.
Sestavování testu
Proces sestavování testu znamená uspořádání úloh do celku, který potom testovaný řeší. Samotná metoda sestavení testu závisí primárně na cíli testování a organizačních podmínkách průběhu testování – zejména času, který testu mohou testovaní věnovat, což determinuje možnou délku testu, tj. počet úloh. Existují v zásadě dva možné způsoby sestavování testu: statický a dynamický (adaptivní). Při statickém způsobu sestavování testu jsou předem před samotným testováním vybrány úlohy a jejich pořadí, které je dále neměnné. Tento způsob je vlastní zejména testování na papíře. Nasazení počítačů nám umožnilo druhý způsob sestavování testů – adaptivní. Při adaptivním sestavování se úlohy a jejich pořadí volí až v průběhu samotného testování z nějakého zásobníku obvykle podle průběžných výsledků testovaného. To umožňuje zejména zkrátit délku testu při zachování jeho měřicích schopností a distribuovat každému testovanému jiný test, což významně snižuje riziko opisování. Adaptivně sestavované testy jsou však náročnější na přípravu úloh a technologii vyhodnocování.
Vyhodnocování
Po otestování cílové skupiny nastává závěrečná fáze práce s testem – zjišťování výsledků. Výsledky testu mohou nabývat mnoha podob, podrobněji viz kapitoly Srovnání testů a Ověřování schopností. Vyhodnocení testu probíhá předem stanovenou metodou, vybranou zejména dle cíle testování (tj. tak, aby metoda poskytovala výsledky relevantní vzhledem k jejich zamýšlenému použití). Metod vyhodnocování testu existuje celá řada a některým z nich se podrobněji věnujeme v dalších kapitolách.