A pedagógusminősítési rendszer kritikája

Asztalos György írása

...mintha egy zongoraművészt annak alapján minősítenénk, hogy tud-e kottát olvasni...

Azt hiszem, sokak igénye, hogy valahogy megmérhessük, ki mennyire jó pedagógus. Milyen jó lenne, ha lennének olyan kompetenciák, indikátorok, amelyek megléte valahogyan korrelálna a pedagógusok minőségével. Sajnos az eddigi külföldi és magyar vizsgálatok ‒ a kezdő tanárok tapasztalatlanságán kívül ‒ nem találtak ilyen mutatókat. (Ezzel kapcsolatban érdemes elolvasni az MTA-KTI tanulmányát, mely A tanárok hatása a tanulói kompetenciák fejlődésére címmel jelent meg.)

Amikor kompetenciák megléte, illetve a portfólióban való dokumentálásuk alapján akarjuk tanárainkat minősíteni, akkor úgy járunk el, mintha egy zongoraművészt annak alapján minősítenénk, hogy tud-e kottát olvasni, vagy milyen ujjgyakorlatokat ismer, és olvassa-e a zenekritikusokat. Aki pedagógus diplomát kapott, ráadásul több év gyakorlata van, meg tud írni egy portfóliót gyakorlatilag maximális pontszámmal, és meg tud tartani két olyan órát, ami szintén meg fogja ütni a szintet.

A jó pedagógus minőségét valamilyen olyan háttérváltozók jelezhetnék, amelyeket nem találtak meg, de legalábbis nem szerepelnek a pedagógusminősítési rendszerben. Valami olyan látens váltózókról lenne szó, melyek jeleznék a mérésben szereplő kompetenciák meglétét, magas szinten gyakorlását ‒ vagyis a szükséges feltételek teljesülését ‒, hiányuk viszont az elégséges feltételek hiányát is jelentené. Egyszerűbben fogalmazva: a jó pedagógusok megtanulnak sok használható pedagógiai módszert, de nem a módszerek alkalmazásától lesznek jó tanárok. Ezért szomorú, hogy a kollégáim közül is sokan ‒ főleg a minősítettek ‒ azt gondolják, hogy az ő eredményeiknek köze van a „minőségükhöz”. (Ismert pszichológiai kísérlet, hogy amikor az embereknek értelmetlen munkát kellett végezniük, és ezért csekély jutalom járt, elkezdték azt gondolni, hogy volt valami haszna a tevékenységüknek.)

A következőkben azt fogom bizonyítani, hogy ez a minősítési rendszer alkalmatlan a pedagógusok értékelésére. Először megpróbálom a józan észt segítségül hívni, majd a méréselméletet is felhasználni.

A józan ész nehezen cáfolható érve: ha mindenki megfelel a minősítésen, akkor értelmetlen a minősítés. Tudtommal csak azok „buktak meg”, akik csaltak, vagy nem végezték el rendesen a feladatokat. Kollégáim mind 100% körüli értéket kaptak. Ez olyan, mintha az iparban a 9,525 mm átmérőjű csapágygolyókat gyártó gép minőségellenőrzése úgy történne, hogy csak a 9 mm-nél kisebb vagy 10 mm-nél nagyobb átmérőjű golyókat szűrnénk ki. Már régen használhatatlanul lötyögne a csapágy, mire egy golyó fennakadna a szűrőn. Vagy más példával élve: mintha a gyártósor végén Lujza néninek egy iskolai, mm-beosztású műanyag vonalzóval kellene megállapítania, hogy a golyók megfelelnek-e a szabványnak.

Nézzük a méréstechnika oldaláról! Szakmailag elfogadhatóbb lenne az módszer, ha a pedagógus csak arról kapna tájékoztatást, hogy megfelelt-e, de sajnos azt is odaírják eredményként, hogy 97%, vagy 89%. Azt nem árulják el, hogy mekkora a mérés becsült hibája, pedig egyáltalán nem mindegy, hogy 85% +/- 5% vagy 85% +/- 30%.

A mérés nem objektív, hiszen míg egy kompetencia megléte még viszonylag könnyen eldönthető dolog, alkalmazásának minősítése azonban már korántsem az. Szakmai gyakorlatból tudjuk, hogy a pedagógusok által végzett értékelések között is jelentős különbségek vannak (pl. az osztályozásnál).

Baj van a reliabilitással, vagyis a megbízhatósággal is.  A rendszer csak akkor ír elő egyeztetést a bírálók között, ha az egyes kompetenciák alkalmazásának megítélésekor 1 pontnál nagyobb az eltérés, ami egy 0‒3-as skálán 25% eltérést jelent. Ráadásul ha az egyik bíráló egy kompetencia értékelésének alpontjai első felére ad egy pontot a második felére hármat, a másik elemző pedig fordítva, akkor nem szükséges az egyeztetés, és az azonos végeredmény azt a látszatot kelti, hogy azonosan ítélkeztek.

Nyolc kompetenciát kell értékelni, és minden kompetenciában legalább nyolc alpont szerepel. Itt nem az egyes alpontok értékelésének különbségét vizsgálják, hanem az alpontokra adott pontszámok átlagának különbségét. Például ha a 3. kompetencia („Tanulás támogatása”) első alpontjára („3.1. Épít a tanulók szükségleteire…”) az egyik szakértő 3, a másik 1 pontot ad, a 4. alpontban („A tanulást támogató környezetet teremt…”) pedig fordítva, akkor ez ugyanazt az átlagot adja. Az értékelés egységességéről akkor tudnánk nyilatkozni, ha ismernénk az alpontok értékelésének szórását is. Ha a rendszer ekkora hibákat megenged, akkor olyan magas szórást eredményezhet, hogy a konfidenciaintervallum rendkívül széles lehet. (A konfidenciaintervallum azt mutatja meg, hogy ha mások mérnének, akkor azok értékei 95%-os valószínűséggel milyen intervallumba esnének. Például ha a három értékelő 80, 85, és 90%-ot hozott ki, akkor más mérések 95%-os valószínűséggel a 85% +/- 12% tartományba esnének, vagyis 72% és 97% közé, ami a „bukás” és a majdnem tökéletes közti tartomány.) Egyszerűbben fogalmazva: a mérési eredmények nem alkalmasak arra, hogy a pontszámok alapján összehasonlítsuk két minősítés eredményét. Vagyis szakmaiatlan azt állítani, hogy aki 97%-ot kapott, az jobban oldotta meg a feladatot, mint aki 92-t. (Félek, hogy száz pedagógusból 99 ezt gondolja, beleértve az igazgatókat is.)

A validitásról, vagyis az érvényességről már beszéltünk. A minősítés nem méri a pedagógus minőségét, mert nem tartalmaz olyan mérési adatokat, amelyek korrelálnának a tanár eredményességével.

Tapasztalatom szerint a pedagógusok közül kevesen vannak otthon a kutatásmódszertanban, a konfidenciaintervallum fogalmát pedig végképp nem ismerik. Sajnos ezt kell, hogy gondoljam a portfólió értékelőrendszerének összeállítóiról is. Amit a jó tanárságról gondolnak, az véleményen, szubjektív benyomásokon alapul.

Úgy gondolom, hogy egy eredményes tanár, aki megfelelően képzett és az ítélkezésre alkalmas személyiség, valószínűleg jól képes megítélni ‒ mondjuk a látott órák alapján ‒, hogy valaki milyen pedagógus, de aligha fogja tudni intuícióit egzaktul megfogalmazni. (Persze ez is csak vélemény, nem ismerek olyan kutatást, amely ezt igazolná. Ám egy kiváló diagnoszta orvos sem biztos, hogy le tudja vezetni, hogy hogyan jutott a helyes következtetésre, hiszen ha ez algoritmizálható lenne, akkor egy számítógép is megtehetné a szakember helyett.)

Összegzés

1. A minősítési rendszer teljesen alkalmatlan arra, amire létrehozták.
2. Hamis képzetet kelt a pedagógusok körében: „99%-ot kaptam, én egy tökéletes pedagógus vagyok.”
3. Hamis összehasonlításra ad alkalmat: „Én 95%-ot kaptam, jobb vagyok nálad, mert te csak 85%-ot kaptál.” (Holott még ha azt mérnénk is, amit szeretnénk, a mérési hiba nagysága miatt ez akkor sem lenne állítható.)

Ha a portfólióírás egy önkéntes lehetőség lenne a magasabb fizetési osztályba való kerülésre, és nem beszélnénk minősítésről, csak egy szellemi produktumról ‒ ami tudatosságra, önreflexióra késztet ‒, akkor akár még hasznos is lehetne, és a szakértők se veszítenék el állásukat.