Analýza úloh

Analýza úloh (Item Analysis) po testu, před zveřejněním výsledk

Statistická analýza testu čili „item analysis“, která se provádí po zpracování formulářů testu, má dvojí roli:

• Opravit konečné výsledky testu vyloučením nevhodných úloh a opravit nejasnosti či omyly v určení správných řešení.

• Opravit podobné úlohy v databázi úloh a směrnice pro psaní nových úloh.

Statistická analýza testů zahrnuje

• Základní deskriptivní statistiky

Počet studentů, kteří se zúčastnili testu, střední hodnota bodů a průměr, standardní odchylka a nejvyšší a nejnižší skóre. 

• Obtížnost úloh (item difficulty)

      Snadnost = celkový počet správných odpovědí/počet účastníků testu

      Obtížnost = 1 - snadnost 

Úlohy, které buď skoro všichni vyřešili nebo ty, které téměř nikdo nezodpověděl, jsou „špatné“ úlohy, tj. jsou buď příliš lehké nebo příliš těžké a měly by být z testu vyloučeny. Výsledky testu by se měly přepočítat a úlohy opravit v databázi pro budoucí použití. Z psychologických důvodů se doporučuje, aby na začátku testu bylo několik snadných úloh (snadnost přibližně 0,9). 

Velmi snadné úlohy jsou přijatelné v diagnostických testech nebo předběžných testech, které zkouší znalosti celé skupiny, ne jednotlivců. 

K výpočtu optimální úrovně obtížnosti pro MCQ s n možnými odpověďmi můžeme použít vzoreček: 

Optimální úroveň obtížnosti = 0,5 + 0,5 (1/n) 

Optimální úroveň obtížnosti pro úlohy typu Ano/Ne je 0,75, ale rozsah od 0,65 do 0,85 je přijatelný. Úlohy s nižší či vyšší obtížností by měly být náležitě upraveny.

Nejvhodnější úroveň obtížnosti pro úlohy se 3 alternativami odpovědí (2 distraktory) je 0,67.

Nejvhodnější úroveň obtížnosti pro úlohy se 4 alternativami odpovědí (3 distraktory) je 0,63.

Nejvhodnější úroveň obtížnosti pro úlohy s 5 (alternativami odpovědí (4 distraktory) je 0,60.

Obecně přijatelné úrovně obtížnosti jsou mezi 0,3 a 0,7. Úlohy pod 0,3 jsou příliš těžké, nad 0,7 příliš lehké. 

• Diskriminace úloh (item discrimination) 

Po testu seřadíme všechny studenty (x) podle výsledků a pro výpočet hodnoty indexu diskriminace úlohy použijeme výsledky „horší“ či dolní třetiny (27 %) a „lepší“ či horní třetiny (27 %) studentů.

Spočítáme počet správných odpovědí na danou úlohu v horší skupině (L) a v lepší skupině (B) a vypočítáme index podle vzorečku: 

Diskriminace = 2 (B – L)/x 

Čím větší je toto číslo, tím „lepší“ je úloha. Úlohy s indexem diskriminace nad 0,35  jsou výborné. Úlohy s indexem mezi 0,35 a 0,25 jsou dobré; mezi 0,25 a 0,15 jsou ještě přijatelné, ale měly by být upraveny pro následující test; úlohy pod 0,1 by měly být z testu vyloučeny a výsledky testu přepočítány bez nich.

Jiný způsob měření indexu diskriminace je výpočtem koeficientu korelace point-biserial (point-biserial correlation coefficient). Je to vlastně výpočet korelace mezi četností správných řešení dané úlohy a celkovým skóre studentů. Tento koeficient je lepší než jednoduchý index diskriminace v tom, že bere v úvahu celkové výsledky všech studentů. 

• Četnost správných odpovědí (response frequencies)

Pokud existují distraktory, které nikoho nezmátnou, měly by být změněny před následujícím testem. Naopak „příliš silné“ distraktory by též měly být prověřeny, zda jsou vhodné. 

• Spolehlivost testu (test reliability)

Kuder Richardson formule 20 by měla být spočítána. Dobrý test má spolehlivost 0,70. KR20 určuje spolehlivost testů, které jsou používány opakovaně. Pokud student několikrát absolvuje test s vysokou spolehlivostí (KR20), měl by pokaždé dosáhnout stejného skóre. 

• A nakonec dobrá zpráva a pádný důvod proč používat IT pro analýzu písemných testů:

Dobré softwarové programy pro zpracování výsledků písemných testů provádějí analýzu automaticky nebo  jedním kliknutím myši. Program též automaticky uloží výsledky pro každou úlohu do databáze úloh.