DOBRÁ ŠKOLA - mesačník
 
Vieme o všetkom Viac
Inšpirujte sa Viac Podporujeme Viac
DOBRÁ ŠKOLA - mesačník

Ktosi tu nerozumie princípom testovania

pridané 14.06.2010, autor Vlado Burjan pošli na vybrali.sme.sk

Autor článku: Vladimír BURJAN, šéfredaktor DOBREJ ŠKOLY, EXAM testing

Na tlačovej konferencii k výsledkom tohtoročného Testovania 9 opakovane zaznela informácia, že deviataci sa oproti vlaňajšku zlepšili. Sám minister školstva uviedol že „v matematike sa zlepšili o viac ako 7 %”. Po ministrovi to ešte zopakovala riaditeľka NÚCEM-u. Na pochybovačnú otázku istého novinára potvrdila, že skutočne ide o zlepšenie a dokonca odhadovala jeho možné príčiny. A ako je to naozaj?


Výsledky deviatakov v matematike v rokoch 2009 a 2010 sú uvedené v grafe vpravo. Ten graf je v poriadku, problém je v jeho nesprávnej interpretácii, ktorá odznela na tlačovej besede a následne bola uverejnená v mnohých médiách. Tvrdiť na základe uvedeného grafu, že deviataci sa oproti vlaňajšku zlepšili (rozumej že ich vedomosti z matematiky sú tento rok lepšie ako vlani) je nezmysel. Jednoducho to z toho grafu vôbec nevyplýva. Vyplýva z neho jediné: že tohtoroční deviataci napísali tohtoročný test o čosi lepšie ako vlaňajší deviataci vlaňajší test.


Rozoberme celú situáciu trochu podrobnejšie. Ak chceme zorganizovať testovanie na účely porovnávania, musíme z dvojice „žiaci, test” meniť vždy iba jednu premennú. Môžeme napríklad zadať dvom rôznym skupinám žiakov Z1 a Z2 identický test T. Ak skupina Z1 dosiahne v teste T úspešnosť 53 % a skupina Z2 dosiahne v tom istom teste úspešnosť 60 %, môžeme vyhlásiť, že žiaci v skupine Z2 ovládajú testované učivo o čosi lepšie ako žiaci v skupine Z1. Iný model: môžeme vytvoriť dva rôzne testy T1 a T2 a zadať ich rovnakej skupine žiakov. Ak žiaci dosiahnu v teste T1 úspešnosť 53 % a v teste T2 dosiahnu (tí istí žiaci!) úspešnosť 60 %, môžeme výsledok interpretovať tak, že test T2 je pre žiakov o čosi ťažší ako T1.

Testovanie 9 však nespadá ani pod jeden z uvedených modelov: v jeho prípade sme v roku 2009 istej skupine deviatakov D1 zadali test T1 a v roku 2010 sme celkom inej skupine deviatakov D2 zadali celkom iný test T2. V tomto prípade ide o dve samostatné, navzájom nesúvisiace pedagogické merania a z ich výsledkov nemožno robiť žiadne komparatívne závery. Možno konštatovať jediné: „tohtoroční deviataci dosiahli v teste T2 o 7 % vyššiu úspešnosť ako vlaňajší deviataci v teste T1.” Toto je jediná štatisticky korektné (avšak pedagogicky bezcenné) konštatovanie o výsledkoch v rokoch 2009 a 2010. Všimnite si, že sme nepoužili slovo „zlepšenie” – to je totiž presne ten záver, ktorý z výsledkov nemožno urobiť. Prečo? Pretože nevieme nič o porovnaní obťažnosti testov T1 (2009) a T2 (2010). Čo ak tohtoroční deviataci v skutočnosti ovládajú matematiku „o 10 % horšie” ako vlaňajší, ibaže tohtoročný test bol „o 17 % ľahší” ako vlaňajší? V konečnom výsledku to môže vyzerať ako „zlepšenie o 7 %”, hoci reálne mohli byť vedomosti tohtoročných deviatakov slabšie.

Medializovaná nesprávna interpretácia výsledkov zrejme vychádza z implicitného predpokladu, že vlaňajší a tohtoročný test boli rovnako náročné. Práve tu je však kameň úrazu a hlavná chyba celej úvahy. Na základe čoho možno tvrdiť, že testy boli rovnako obťažné? Aj keď boli pravdepodobne tvorené na základe rovnakých pedagogických dokumentov (štandardov), aj keď jednotlivé typy úloh boli podobné, aj keď ich možno tvorili tí istí ľudia, ani to všetko nemôže zaručiť rovnakú náročnosť testov. Odhad či názor tvorcov testov alebo učiteľov je pre tieto účely veľmi nespoľahlivý, a preto irelevantný.
Predstaviteľka NÚCEM-u sa na tlačovej besede pokúšala v jednej z odpovedí novinárom vysvetliť, že testy z rokov 2009 a 2010 boli skutočne rovnako náročné, pretože obsahovali veľmi podobný typ otázok. V tom prípade je tu však ďalší dôvod, prečo byť skeptickí voči „zlepšeniu o 7 %”. Takmer na každej škole totiž v rámci prípravy na Testovanie 9 učitelia s deviatakmi dôkladne rozoberú vlaňajší test. Ak sa naozaj tohtoročný test veľmi podobal na vlaňajší, potom treba pôvod „zlepšenia” hľadať inde: deviataci v priebehu niekoľkých týždňov písali skoro rovna­ký test druhýkrát. (V tom prípade sa dokonca vynára otázka, prečo bolo „zlepšenie” iba také malé.) Ak sa, naopak, tohtoročný test líšil od vlaňajšieho výraznejšie (tak­že efekt nácviku je zanedbateľný), potom nemôže nikto ani len tušiť, aká bola obťažnosť tohtoročného testu v porovnaní s vlaňajším.

 

S otázkou „Ako dopadli tohtoroční deviataci v porovnaní s vlaňajšími?” prišli ako prví novinári, a to hneď po zavedení Monitora 9. Žiaľ, namiesto toho, aby im organizátori testovania hneď v začiatkoch vysvetlili, že Testovanie 9 svojou koncepciou neumožňuje na takúto otázku odpovedať, „naskočili na túto loď” a odvtedy každý rok v apríli médiá celkom nezmyselne rozoberajú medziročné „zlepšenia” či „zhoršenia” deviatakov. Kde zostala odbornosť?

Autor článku: Vladimír BURJAN, šéfredaktor DOBREJ ŠKOLY, EXAM testing

DOBRÁ ŠKOLA, jún 2010

Páči sa vám, čo sme vybrali z nášho časopisu? Staňte sa naším čitateľom.

100000 komentárov k článku: “Ktosi tu nerozumie princípom testovania”

Sorry, you must be logged in to comment. Please login or register to comment.