Jana Poláchová Vašťatková, Jan Zouhar: Vyhodnocení a interpretace autoevaluace – důležitá fáze procesu

pátek 8. července 2011 · 1 komentářů

Lidé, kteří nesou ve škole odpovědnost za realizaci evaluačních procesů, si obvykle kladou následující otázku: Jak získat co nejspolehlivěji, nejlepší, nej… data a informace? Do popředí jejich zájmu se tak dostávají evaluační metody a nástroje, které sice jsou velmi významným prvkem evaluace, ale vzhledem k jejímu průběhu určitě ne „všespasitelným“. Sběrem dat (za využití vlastní či převzaté metody/nástroje) totiž ještě zdaleka není evaluační proces ukončen.


Zdroj: Bulletin Na cestě ke kvalitě č. 4, červen 2011, str. 6–7


Jedná se sice o velmi důležitou pracovní fázi, za ní však následují další neméně podstatné etapy, v nichž je nutno zjištěné skutečnosti vyhodnotit a interpretovat. Shromážděným podkladům je třeba porozumět a shodnout se na významu, ale zejména na využití získaných poznatků při další práci školy. Předpokladem k tomu je schopnost (či umění) evaluátorů vyhodnocovat data nezávisle na individuálních zájmech, ale přitom s přihlédnutím ke všem souvislostem. Mezi shromážděním dat a konečným účelným využitím získaných poznatků ve prospěch rozvoje školy se tedy z hlediska účelovosti evaluačních procesů nachází značně rizikový interval. Poznatky o obtížích i úspěších z tohoto období (z jeho překlenutí) ve školní praxi jsou představeny v následujícím textu. Mají podobu tří konkrétních příkladů z prostředí škol.

První škola je střední a zřizuje ji Zlínský kraj. Krajský úřad nařídil od září 2010 všem středním školám použít k evaluaci komerční nástroje, jako např. Barvy života a produkty jiných soukromých firem. Prvně uvedený nástroj je zaměřen na zjišťování postojů žáků a učitelů školy a funguje na principu jakéhosi vlastního testování (tzv. snímání barev). Spolehlivost a smysluplnost nástroje je v odborné komunitě diskutována, ve školské praxi je často využíván, neboť práce s nástrojem i následné technické zpracování je počítačově řízeno. Data se tak získávají snadno a rychle. Vedení školy se shodlo na tom, že interpretace dat by se měli zhostit lidé, kteří znají nejen principy daného nástroje, ale i konkrétní školu. Proto byli vybráni dva učitelé a v rámci dvoudenního semináře proškoleni. Zjištěné výsledky pak interpretovali „nikomu neškodícím“ způsobem, závěry z realizovaného šetření byly příznivé, škola posouzena jako velmi dobrá bez vážnějších problémů. S odstupem času však data získaná nástrojem Barvy života zhlédl odborník (psycholog) s dlouholetou praxí a interpretoval je jinak. Konstatoval rezervy, které škola má, a to v nejednotném přístupu k žákům při hodnocení jejich výkonů, poukázal na mnohdy direktivní styl výuky, na žáky pociťovaný nedostatek prostoru pro vzájemnou komunikaci a diskusi jak mezi žáky navzájem, tak mezi žáky a učiteli, což je v jejich věku důležitým předpokladem úspěšného učení. Také upozornil na skutečnost, že podle žáků jsou v některých předmětech výuka a přístup učitele velmi neefektivní. „Laický“ způsob práce s daty tak vlastně devalvoval příležitost školy zlepšit svou práci. Tím příběh neskončil, neboť se ukázalo, že záměrem zřizovatele bylo otestovat stejným nástrojem všechny školy a pak je podle toho srovnávat. Násilné propojení vnější a vnitřní evaluace však vyvolalo nepřirozenou situaci (i tato skutečnost mohla ovlivnit oba učitele při interpretaci dat). Shrneme-li celou situaci, tento příklad z praxe demonstruje nejen nebezpečí z nekompetentní interpretace získaných dat, ale i rušivý zásah zřizovatele do výsostně autonomního procesu autoevaluace školy.

Druhý příklad se týká střední odborné školy, kde dnes již bývalé vedení chápalo autoevaluaci jako nařízený, a tedy zcela formální proces. Na otázku položenou v rámci návštěvy školy: Jak ve škole probíhá autoevaluace a v jaké fázi těchto procesů se škola nachází? – odpovědělo vedení školy, že je vše v pořádku, neboť na konci minulého roku „udělali“ se žáky a učiteli dotazník, závěry vyplývající z vyhodnocení dotazníků si již nepamatují, ale mají je uloženy a nachystány pro inspekci. Při bližším prozkoumání dotazníků i způsobu jejich vyhodnocení se zjistilo, že škola při vyhodnocení pouze „vypočítávala“ odpovědi, neanalyzovala je a neuváděla do vzájemných souvislostí, nevyvodila odpovídající závěry. Přitom z odpovědí i takto „na koleně“ připravených dotazníků bylo na první pohled zjevné, že žáci nejsou spokojeni s praxí, na kterou chodí. S ohledem na odbornou profilaci školy se jedná o skutečnost, na kterou mělo vedení školy určitě zaměřit pozornost. Kdyby vedení dotazníky důsledně vyhodnotilo a interpretovalo, mohlo zahájit ozdravné procesy v této oblasti práce školy.

Třetí příklad pochází z prostředí základní školy. Její ředitelka se dlouhodobě snaží o prosazení inovačních procesů do chodu školy a zejména pak inovačních prvků do výuky. To se projevilo i tím, že paní ředitelka věnovala velkou pozornost naladění a odborné přípravě celého sboru na tvorbu ŠVP. Přesto se později při hospitacích ukázalo, že učitelé mají problémy s rozvojem klíčových kompetencí žáků. Proto vedení školy přijalo následující opatření: 1. Klíčovým kompetencím je věnován dvoudenní seminář. Na něm jsou kompetence důkladně znovu prodiskutovány a „rozklíčovány“ do uchopitelných cílů. 2. Je přepracována ta část ŠVP, která pojednává o kompetencích a předmětové komise dostávají za úkol rozšířit osnovy (tematické celky a hodiny) o strategie, o postupy, jak rozvíjet kompetence. 3. Vedení školy stanovuje v příslušném pololetí školního roku jako základní kritérium pro hospitační činnost rozvoj jedné z klíčových kompetencí – k učení. 4. Následují tři hospitační návštěvy u každého z vyučujících, a to tak, že první hospitace se uskutečňuje „na pozvání“ vyučujícího, termín dalších dvou vyplývá z rozhodnutí ředitelky a zástupce ředitele. Záznamové archy pro hospitace byly cíleně předpřipraveny se záměrem sledovat, jak je u žáků kompetence k učení rozvíjena. Sběr dat pro autoevaluaci spočívající v četných hospitačních pozorováních byl sice časově velmi náročný, ale za to jeho dílčí kroky zavčas upozornily na skutečnost, že je arch třeba upravit. Bylo nutné upravit jednotlivé části tak, aby při pozorování nepodněcoval pozorovatele k ukvapeným hodnotícím soudům, neboť mnohé, co bylo při pozorování v hodině vnímáno jako nedostatek, se v rámci následných pohospitačních rozhovorů ukázalo být úplně jiné. Podle vyjádření ředitelky školy budou tyto archy postupně doplněny i dotazníkem pro žáky, který by měl zjistit, jak žáci nahlížejí na své pokroky ve schopnosti a naladění se učit. Až poté bude škola všechny trojím (pozorování, rozhovor, dotazník) způsobem získané informace vyhodnocovat.

Předestřené tři příklady zachycující zkušenosti z evaluačních procesů škol zdůrazňují, jak důležitou fází evaluačního procesu je i vyhodnocení a interpretace získaných informací a dat. První příklad upozorňuje na nebezpečí nedostatečně kvalifikované interpretace zjištěných výsledků, druhý případ apeluje na odpovědnost věnovat pozornost zjevným informacím a pracovat s nimi ve prospěch zlepšení práce školy. Třetí příklad ukazuje situaci, v níž je cílevědomě věnována pozornost snaze co nejvíce objektivizovat zjišťované skutečnosti a neuspěchat jejich analýzu. Je zřejmé, že při účelně prováděné evaluaci tedy nestačí jen zvolit optimální nástroj či metodu k zjišťování informací a dat, ale je třeba kvalifikovaně a odpovědně přistupovat i k jejich vyhodnocení a následné interpretaci.