PISA 2015: miért romlanak az eredményeink?

Radó Péter írása

Vegyük tehát sorra, hogy elméletileg mi minden okozhat ilyen mértékű teljesítményromlást.

Az eredmények ma már jól ismertek: mindhárom kompetenciaterületen erősen leszakadtunk a legfontosabb referenciacsoportunkat alkotó közép-európai országok átlagos teljesítményétől, Magyarországon minden korábbinál nagyobbakra nőttek az átlagos eredmények mögött megbújó teljesítményszakadékok, és minden eddiginél nagyobbra nőtt az elfogadhatatlanul alacsony szinten teljesítő, kudarcot valló tanulók aránya. A magyar közoktatás minden szereplőjének szembe kell néznie ezzel a kudarccal, ennek első lépése azonban az, hogy megpróbáljuk megérteni a súlyos teljesítményromlás mögött álló okokat.

A romló teljesítmények lehetséges okai

Vegyük tehát sorra, hogy elméletileg mi minden okozhat ilyen mértékű teljesítményromlást.

1. Megváltozott mérési módszertan. Elméletileg elképzelhető, hogy megváltozik a tesztelés alapjául szolgáló mérési keret, vagy megváltozik a mérés lebonyolításának módja, ami erősen gyengíti az új eredmények korábbiakkal való összehasonlíthatóságát.
2. A tanulók képességeinek, egészségi állapotának vagy mentális felkészültségének gyors megváltozása. Vannak olyan történelmi helyzetek, amikor nagyobb kataklizmák (háborúk, nagyobb járványok vagy nagy gazdasági megrázkódtatások) statisztikailag is kimutatható és szinte azonnali hatást gyakorolnak a mért tanulási eredményekre.
3. A társadalmi környezet megváltozása, az egyenlőtlenségek hatása. Az egyenlőtlenségek hatása a társadalmi környezet és az oktatás hátránykompenzációs képességének dinamikájaként ragadható meg. Nőhet az egyenlőtlenségek eredményekre gyakorolt hatása akkor is, ha csökken a tanulók átlagos szociális státusza, de akkor is, ha csökken az iskolák hátránykompenzációs képessége.
4. A pedagógusok szakmai felkészültségének romlása. Ilyen rövidtávon kimutatható teljesítményromlás esetén ez a magyarázat akkor vetődhet fel, ha a pályán lévő pedagógusok szakmai és korösszetételében nagyon jelentős változás történik.
5. Az iskolák működési módjának megváltozása, az általuk nyújtott szolgáltatás minőségének romlása. Tudjuk, hogy az alapkészségek körébe tartozó tanulási eredményeket nem az egyes pedagógusok munkája, hanem a gyerekeket tanító összes pedagógus munkája összegződő eredménye, végső soron az iskola minősége határozza meg. Az iskolák minőségének gyors romlása tehát magyarázhatja a teljesítmények romlását.
6. Bizonyos oktatáspolitikai beavatkozásoknak a tanítás-tanulás minőségére gyakorolt negatív hatása. Vannak olyan oktatáspolitikai beavatkozások, melyek bár alapjaiban forgathatják fel a rendszert, mégsem gyakorolnak hatást a tanulási eredményekre, míg más – néha lényegtelenebbnek látszó – beavatkozások komolyan befolyásolhatják azokat.

Mint már ebből a rövid felsorolásból is látszik, egy hihetetlenül bonyolult és dinamikus összefüggésrendszerrel állunk szemben. A 2015-ös eredmények romlását magyarázó okok azonosítása során először tehát el kell végeznünk egy gyors takarító munkát: ki kell zárnunk azokat a lehetséges magyarázatokat, melyek nem okozhatták a 2015-ös magyar PISA eredmények ilyen gyors és jelentős romlását. A felsoroltak közül kettőt azonnal levehetünk a listáról: nem történt Magyarországon semmi olyasmi, ami a tanulói képességek gyors romlását okozná, s a pedagógus szakmán belül sem történt semmilyen jelentős átrendeződés. (Természetesen a kétszülős családmodell felbomlásának vagy a következő évtizedben a pedagógusok körében lezajló erőteljes generációváltásnak lesz hosszú távú hatása, amivel majd foglalkoznunk kell.)

A digitális tesztelésre való átállás miatt a mérés módszertani folytonosságának megtörése már nem ilyen könnyen lesöpörhető kérdés. Voltak olyan országok már 2009-ben is, ahol a mért papíralapú és digitális szövegértési teszteredmények között jelentős különbségek voltak, a régiónkban ilyen volt Lengyelország, Ausztria és Magyarország. Ha megnézzük a hat évvel későbbi szövegértési eredményeket, azt látjuk, hogy azok mindhárom országban romlottak, de Ausztriában például alig néhány ponttal. Ha tehát a tesztelés módszertanának megváltozása okozott is némi, egy-két pontnál nem több eredményromlást – amit sem bizonyítani, sem cáfolni nem áll módunkban –, az semmiképpen sem megarázhatja a magyarországi szövegértési teljesítmények 18 pontos zuhanását. Miután leszűkítettük a lehetséges magyarázatok körét a továbbiakban tehát három dologban kell mélyebbre ásnunk: az egyenlőtlenségek, az iskolák működésében végbement változások és az oktatáspolitikai beavatkozások hatásában.

Az egyenlőtlenségek hatása a PISA eredményekre

Mint jeleztem, az egyenlőtlenségek hatása kétfajta változás eredőjeként elemezhető: a tanulói háttér változásának és az oktatás hátránykompenzációs képessége változásának kölcsönhatását kell megértenünk. E tekintetben jó helyzetben vagyunk, mert a PISA mindkét komponens tekintetében ellát minket adatokkal.

A 2012-es PISA-eredmények romlása kisebb részben a 2008-as válság társadalmi hatásaival volt magyarázható, ugyanis 2008-tól kezdve egy darabig folyamatosan nőtt a szegénységben élő hátrányos helyzetű tanulók aránya. Mivel a tanulási eredmények és a tanulók családi háttere között egy lineáris regressziós modellel leírható kapcsolat van, a tanulók családi hátterének romlása szinte automatikusan az átlagos teljesítmények romlását vonja maga után. Mivel az EUROSTAT adatai szerint a „szegénység kockázatának kitett” 18 évnél fiatalabbak aránya 2012-ben és 2015-ben lényegében ugyanakkora volt, (ez az arány 2014-ig nőtt, majd csökkent) várható volt, hogy a PISA tanulói háttérváltozók alapján képzett ESCS indexe (gazdasági, szociális és kulturális háttér index) sem változik majd. Az ESCS index nulla értéke az összes OECD országban tesztelt összes tanuló átlagos családi háttérindexe, az egyes országok háttérindexe az ettől való pozitív vagy negatív irányú eltérés mértékét mutatja. Mint az alábbi ábrán látszik, a magyar tanulók ESCS értéke 2012-ben némileg romlott, 2015-ben viszont nagyon csekély mértékben javult.

A képlet másik oldala az egyes országok oktatási rendszereinek eltérő és változó hátránykompenzációs képessége. Ez oly módon mérhető, hogy megnézzük: egy pontnyi pozitív vagy negatív irányú eltérés a tanulói háttérindexen hány pontnyi teljesítményjavulást vagy romlást okoz a különböző országokban. (Ez lényegében a tanulói háttér és a teljesítmények közötti kapcsolatot leíró regressziós egyenes meredeksége.) Tudjuk, hogy Magyarországon ez a hatás nemzetközi összehasonlításban rendkívül nagy, a magyar közoktatás hátránykompenzációs képessége rendkívül alacsony. 2009-ben az átlagtól való egy pontnyi ESCS különbség 48 pontnyi eredménykülönbséget generált a szövegértés terén. Ez azt jelentette, hogy a családiháttér-index egytized pontnyi romlása öt pontnyi átlagos teljesítményromlást okozott volna. Ez a hatás 2012-ben még mindig hatalmas volt, de 42 pontra csökkent, 2015-ben pedig újra 47 pontra nőtt.

Mindezek alapján már teszteredmény-pontszámban is ki tudjuk fejezni az egyenlőtlenségek átlagos eredményekre gyakorolt hatását. A következő ábra a tanulók ESCS indexe és az oktatás hátránykompenzációs képessége változásának a szövegértési eredményekre gyakorolt együttes hatását mutatja. Mint látható, 2009-ben az egyenlőtlenségek hatása átlagosan 10 ponttal rontotta a magyar szövegértési eredményeket. Ez a hatás 2012-ben 11 pontra, tehát csekély mértékben nőtt, 2015-ben pedig változatlanul 11 pont volt, azaz nem változott. Az egyenlőtlenségek hatásának kiszűrése után kapott számított eredmény a magyar közoktatás minőségpotenciálját jelzi. Mivel a 2015-ben mért és számított eredmény közötti különbség szemernyit sem nőtt az előző mérés óta, kimondható, hogy 2015-ben a magyar szövegértési teljesítmények nagyon súlyos (18 pontos) romlása teljes egészében a minőség romlása, s nem az egyenlőtlenségek növekvő hatása miatt következett be. Ennek látszólag ellentmond, hogy nőtt a kudarcot valló tanulók aránya, és nőttek a legjobban és legrosszabbul teljesítő tanulók teljesítménye közötti szakadékok. Az ellentmondás azonban tényleg látszólagos, ugyanis noha a minőségromlás társadalmi hátterétől függetlenül minden tanulócsoport eredményét lerontotta (például drasztikusan csökkent a kiemelkedően jól teljesítő tanulók aránya is), az könnyen belátható módon nem egyenlő mértékben sújtotta a magas és alacsony státuszú tanulók eredményeit. Utóbbiak tanulási teljesítménye nyilvánvalóan sokkal jobban ki van szolgáltatva az iskolai minőség alakulásának. (A minőség természetesen nem egyenlően oszlik meg a különböző intézménytípusok, intézmények, területi egységek és tanulói csoportok között, az egyenlőtlenségeknek vannak a leginkább meghatározó szociális státuszon kívül más dimenziói is. Ezek szociális státuszt kiszűrve mért hatása a tanulási eredményekre igen csekély.)

Ez az összefüggés még plasztikusabban dokumentálható, ha összehasonlítjuk az nagyjából azonos kontextusban működő lengyel, cseh, szlovák és magyar eredmények alakulása mögött meghúzódó okokat.

Az egyenlőtlenségek szövegértési eredményekre gyakorolt hatásának számítását lehetővé tevő indikátorok alakulása négy közép-európai országban (PISA 2012-2015)

Az adatokból kiolvasható, hogy a négy ország mindegyikében megfigyelhető kisebb vagy nagyobb teljesítménycsökkenés mögött a változások négy eltérő mintázata húzódik meg. Lengyelországban az egyértelmű és igen jelentős (12 pontos) teljesítménycsökkenés mögött nem áll komoly minőségromlás vagy a hátránykompenzációs képesség komoly gyengülése, azt nagyon nagy részben az átlagos tanulói háttérindex romlása, tehát az iskolarendszeren kívül álló ok magyarázza. Csehországban a jóval kisebb (6 pontos) szövegértés eredményromlás teljes egészében az egyenlőtlenségek hatásának, ezen belül főleg a hátránykompenzációs képesség gyengülésének tudható be, a minőségromlás nem mutatható ki. Szlovákiában ezzel szemben a nagyon jelentős (10 pontos) teljesítményromlás egyértelműen minőségromlás eredménye, ami annak ellenére rontotta súlyos mértékben az eredményeket, hogy az egyenlőtlenségek hatása a felére csökkent. A változatlan mértékű egyenlőtlenségek mellett bekövetkező nagyon súlyos minőségromlással leírható magyar mintázat lényegében az előző háromtól eltérő problémákat valószínűsít.

A minőségromlás okai

Az eddigiekben a magyar PISA eredmények nagyon súlyos romlást magyarázó lehetséges okok hatos listáját kettőre szűkítettem; a teljesítményromlás mögött nagy valószínűséggel az iskolák működésében (minőségében) beálló komoly változások és/vagy oktatáspolitikai beavatkozások magyarázzák. Ettől kezdve azonban az elemzés három nagyon súlyos korlátjával kell számolnunk:

• A 2010 óta követett oktatáspolitikai gyakorlat nem pusztán a tanítás-tanulás minőségének befolyásolására irányuló közvetlen beavatkozás volt, mint amilyen például az osztályzás szöveges értékeléssel való felváltása az első két évfolyamon a 2010 előtti időszakban. Egy szinte mindenre kiterjedő rendszer-átalakítás zajlott le, amely az iskolai szervezeti, szakmai és gazdálkodási autonómia teljes felszámolásával teljesen újraírta az iskolák működési módját. Ráadásul az iskolák külső adminisztratív mikro-menedzselése nem teszi lehetővé a két fennmaradt lehetséges ok szétválasztását.
• Az egyenlőtlenségek eredményekre gyakorolt hatásával kapcsolatos változásokkal szemben a minőségromlás egyes összetevőivel kapcsolatos hatások nem számszerűsíthetőek. Bár a PISA-adatok nemzetközi összehasonlító elemzése rendre tendenciaszerű és rendszerszintű kapcsolatot mutat ki az iskolai autonómia kiterjedtsége és a mért tanulási eredmények között, az egyes autonómiát korlátozó magyarországi intézkedések hatásának elkülönítésére nincs mód.
• Magyarországon ma már gyakorlatilag nincs oktatáspolitikai értékelés és empirikus oktatáskutatás, melynek eredményeire támaszkodhatnánk. Az elmúlt években a gyakorlatba átültetett hatalmas tömegű rendszerszintű oktatáspolitikai beavatkozások egyikének sem történt meg az értékelése. Az iskolák 2013 januárja óta nem kutathatók, az oktatáskutatás erős politikai kontroll alatt működött, annak legfontosabb intézménye pedig éppen most szűnik meg.

Mindezek miatt egyetlen fogódzónk maradt, amely orientálhatja a drasztikus minőségromlás okainak feltárását: a nemzetközi összehasonlító értékelés eredményeinek szembesítése a 2011 óta lebonyolított átfogó rendszer-átalakítás legfontosabb változtatásaival.

Mint azt már jeleztem, noha a tanulási eredmények alakulását elsősorban a pedagógusok tantermi munkájának minősége befolyásolja, az alapkészségek fejlődése nem az egyes pedagógusok, hanem a diákokat tanító összes pedagógus munkájának, végső soron az egész iskola működésének az együttes eredménye. Nemzetközi meta-értékelési eredmények alapján rendelkezünk egy a tanulóikkal kiegyensúlyozottan magas tanulási eredményeket elérni képes iskolák legfontosabb jellemzőit (school effectiveness enhancing factors) tartalmazó listával.1 E jellegzetességek között vannak olyanok, melyek kizárólag a pedagógusok tantermi munkájára vonatkoznak, többségükben azonban vagy az egész intézmény jellemzői, vagy értelmezhetők tantermi és intézményi szinten egyaránt.

Összegyűjtöttem azokat a legfontosabb rendszerszintű változtatásokat, amelyek véleményem szerint hatást gyakoroltak az iskolák tanulási eredményesség szempontjából fontos működési jellegzetességeire. Az alábbi ábra lényegében egy hipotézis, amely egy a tanulási teljesítmények romlásának okait feltáró komoly empirikus kutatás kiinduló pontjául szolgálhatna. Az ábrában a nyilak vastagságával jelöltem, hogy az egyes beavatkozások (vagy azok összetartozó csoportja) milyen erősségű hatást gyakorolhattak a releváns iskolai képességekre. (Igyekeztem figyelembe venni az implementáció és a 2015-ös PISA mérés időpontja között eltelt időt is.) Az ábra jobb oldalán az intézményi képességek romlásával kapcsolatos feltételezéseimet a megfelelő doboz színével jelöltem: fehér maradt, amennyiben az adott képesség nem romlott, s a szürke két árnyalatával jelöltem, ha az adott képesség megítélésem szerint kis mértékben, vagy súlyosan romolhatott.

Hipotézis a különböző oktatáspolitikai beavatkozások tanulási eredményekkel kapcsolatos iskolai képességekre gyakorolt hatásáról

Miért ne jósoljunk?

2016 tavaszán az önfejlesztő iskolák minikonferenciáján tartott előadásomban – kizárólag demonstrációs célból – egy kis jóslásra vállalkoztam: felvázoltam egy mérsékelten optimista pályát a PISA szövegértési eredményeinek várható alakulásáról. A vállalkozás lényegében komolytalan volt. A kompetenciamérések és a PISA-mérések eredményei egy ideje elszakadtak egymástól, tehát az előbbiből rövidtávon sem következtethetünk az utóbbira. Ráadásul, mint az eddigiek alapján valószínűleg jól látható, a PISA-teljesítmények alakulása hatalmas számú és többségében nem mérhető hatás összegződő eredményeként alakul úgy, ahogy alakul. A jóslás célja nem előrejelzés volt, hanem a teljesítmények és az oktatáspolitikai beavatkozások hosszútávon érvényesülő kapcsolatát volt hivatott illusztrálni. Mondandóm lényege az volt, hogy egy gyors, gyökeres és jó irányba vezető oktatáspolitikai fordulat annak teremti meg a lehetőségét, hogy a magyar közoktatás nagyjából másfél évtized alatt visszakapaszkodjon az egyszer már elért 2009-es teljesítményszintre.

A hosszú távú pálya felrajzolásának alapja egy nagy rakás politikai és szakmapolitikai előfeltevés volt, az előbbiek már most láthatóan nem fognak teljesülni. Volt azonban egy rövid távú becslésem, mely szerint a szövegértési eredmények a 2009-2012 között mért teljesítményromlással azonos mértékben, további hat ponttal csökkennek majd. E várakozás mögött volt néhány józanabb megfontolás is:

• A 2012-es romlás egyik oka a 2008-as válság hatása volt: nőtt a szegény (hátrányos és halmozottan hátrányos helyzetű) tanulók száma. (Ennek pontszámban kifejezett hatását akkor még nem számoltam.) Mivel a válságból való lassú kilábalás hatására csökkent a szegénység kockázatának kitett gyermekek aránya, várakozásom szerint 2015-ben ez nem okozhatott további teljesítményromlást.
• Előzetes várakozásom szerint, noha a társadalmi egyenlőtlenségek nyomása valamilyen mértékben csökkent, a 2010 óta végrehajtott gyökeres oktatáspolitikai fordulatnak azonnali minőségromláshoz kellett vezetnie.
• Noha a szelekció és az átlagos tanulási eredmények közötti kapcsolat egy erősen vitatott kérdés, a heterogén összetételű tanulócsoportokban mért magasabb hozzáadott érték elméletileg megengedi azt a feltételezést, hogy a növekvő szelekció és a roma tanulók erősödő szegregációja – tehát a homogén összetételű tanulócsoportok számának növekedése – lefelé nyomja az átlagos teljesítményeket. (Ezt a szempontot a most ismertetett elemzésbe annak bizonytalan tudományos alapjai miatt nem emeltem be.)
• Mivel az új rendszer erősen lemorzsoló jellegű, fel kellet tenni azt a kérdést, hogy a jellemzően alacsonyabb teljesítményű hátrányos helyzetű 15 éves tanulók lemorzsolódása, csökkenő arányú részvétele az oktatásban „javítja-e” a PISA által mért átlagos teljesítményeket. Ahogy korábban láttuk, noha 2012-től kezdve a 17 és 18 évesek addig folyamatosan javuló részvétele drámai mértékben csökkenni kezdett, ez nem volt igaz a 15 éves korosztályra, ez tehát nem befolyásolhatta érdemben a 2015-ös eredményeket.

Összességében tehát a 2012-essel azonos mértékű szövegértési teljesítményromlásra számítottam, de a 2012-ben mért eredményromláshoz képest részben eltérő okból: várakozásaim szerint a változást nem elsősorban az egyenlőtlenségek tovább erősödő hatása, hanem – a hátrányos helyzetű tanulókat természetesen sokkal jobban sújtó – minőségromlás fogja okozni. Mint arról volt szó, a teljesítményromlás mögött álló okok mintázatának megváltozásával kapcsolatos várakozásaim lényegében megalapozottak voltak, az általános minőségromlás tanulási eredményekre gyakorolt negatív hatását azonban rettenetesen alulbecsültem.

A PISA szövegértési eredmények alakulása Magyarországon (2000-2012) és a további eredmények alakulásáról szóló megalapozatlan jóslatom (2015-2030)

Mindezt észben tartva egy dolgot viszonylag csekély kockázattal le merek írni: mivel a PISA által mért teljesítmények alakulását meghatározó peremfeltételekben a 2018-ban esedékes következő mérésig hátralevő két év során nem várható jelentős változás, a magyar közoktatás teljesítményének további romlása – noha annak mértéke nem prognosztizálható – elkerülhetetlen. A Köznevelési Kerekasztalban kimunkált kisebb kozmetikai korrekciók (tantervi változtatások, tanulói terhek csökkentése stb.) ennek visszafordítására nem lesznek elegendőek.

• 1. Scheerens, J. – Glas, C. – Thomas, S.M.: Educational Evaluation, Assessment and Monitoring. A Systemic Approach. Lisse, 2003. Swets & Zeitlinger Publishers.