den ’smutsiga hemligheten’ om pedagogisk innovation

få viktiga utbildningsnyheter och analyser levererade direkt till din inkorg

som en del av den federala återhämtningsinsatsen för att öka ekonomin efter lågkonjunkturen 2008, USA. Utbildningsavdelningen hade plötsligt en stor kruka med pengar att ge bort till ”innovationer” i utbildningen. Sedan dess har mer än 1,5 miljarder dollar spenderats på nästan 200 ideer eftersom kongressen fortsatte att använda medel även efter att lågkonjunkturen slutade. Stora bitar gick till att bygga nya KIPP charterskolor och utbilda tusentals nya Teach for America rekryter för att bli lärare. Andra medel gjorde det möjligt för mindre kända program i läsning, skrivning, matematik och vetenskapsinstruktion att nå klassrum runt om i landet. Många av bidragsprojekten involverade teknik, ibland levererar lektioner eller material via internet. En ”innovation” var att hjälpa lärare att välja bra appar för sina elever. En annan var för ett nytt sätt att utvärdera lärare.

för att få stipendierna måste mottagarna avgöra om deras ideer var effektiva genom att spåra testresultat. Resultaten är för den första vågen av 67-program, vilket motsvarar ungefär $ 700 miljoner av innovationsbidragen och det ser inte lovande ut.

endast 12 av de 67 innovationerna, eller 18 procent, befanns ha någon positiv inverkan på studentprestationen, enligt en rapport som publicerades tidigare i 2018. Några av dessa positiva effekter var mycket små men så länge eleverna som fick den ”innovativa behandlingen” publicerade större testresultat än en jämförelsegrupp av studenter som lärdes som vanligt, räknade det.

”det är bara en handfull”, säger Barbara Goodson, forskare vid Abt Associates Inc., ett forsknings-och konsultföretag som anställdes för att analysera resultaten från fonden Investing in Innovation (I3) för utbildningsdepartementet. ”Det är avskräckande för alla. Vi är desperata att hitta vad som fungerar. Här var ett program som skulle identifiera lovande modeller. Folk är besvikna över att vi inte kom med 20 nya modeller.”

”det är den smutsiga hemligheten för all utbildningsforskning,” tillade Goodson. ”Det är verkligen svårt att ändra studentprestation. Vi har sällan kunnat göra det. Det är svårare än någon tror.”Hon citerade en tidigare 2013-studie som också fann när utbildningsreformer sattes till rigorösa vetenskapliga tester med kontrollgrupper och slumpmässig uppgift, 90 procent av dem misslyckades med att hitta positiva effekter.

varför är innovation så svårt i utbildning?

till Goodson, som har specialiserat sig på förskoleforskning i 40 år, är problemet att lärande i slutändan handlar om att förändra mänskligt beteende och det är alltid svårt för vuxna och barn. Och så många andra saker — som näring, sömn, säkerhet och relationer hemma — påverkar lärandet. ”Vi har känt under den längsta tiden att ekonomiska bakgrundsegenskaper träskar någon utbildningsintervention”, sa hon. ”Vi börjar med att bara kunna göra en liten skillnad i hur människor gör. Utbildningsspaken fungerar bara på en liten bit av pajen.”

i vissa fall kan de nuvarande måtten på effektivitet, i allmänhet standardiserade bedömningar, vara för breda för att fånga målen för dessa innovationer, sa Goodson. Till exempel kan ett phonics-program hjälpa vissa barn att läsa mer flytande. Men förmågan att läsa mer flytande kan bara indirekt fångas i ett lästest som är inriktat på förståelse och ordförråd. Ett ingripande som syftar till mjuka färdigheter, såsom förmågan att fortsätta och försöka igen, kan inte mätas alls på dessa konventionella tester.

många interventioner riktar sig till barn som är flera klassnivåer bakom. En sjunde klass matteprov kanske inte plocka upp hur en elev utvecklats genom två års värde av matematik från tredje klass multiplikation av ensiffriga tal till femte klass tillsats av fraktioner. Istället kan testet föreslå en liten akademisk förbättring eftersom studenten flubbed de flesta av sjunde klassens frågor om att lösa för x och Graf ekvationer.

en känsligare måttstock för att mäta innovation skulle kräva att man skapar och administrerar fler tester till studenter. Det är svårt att sälja till rektorer, lärare och familjer som kanske redan känner att det finns för mycket testning i skolorna.

Saro Mohammed, en partner på Learning Accelerator, en ideell organisation som stöder att använda teknik för att skräddarsy instruktioner för varje barn, säger att det ibland är svårt att bevisa att en innovationsverk är på grund av oavsiktliga konsekvenser när skolor försöker något nytt. Till exempel, om en skola ökar den tid som barn läser självständigt för att försöka öka läsprestationen, kan det förkorta den tid som eleverna arbetar tillsammans tillsammans eller deltar i en gruppdiskussion.

”dina läsningsresultat kan visa sig vara desamma , men det beror inte på att oberoende läsning inte fungerar”, sa Mohammed. ”Det beror på att du oavsiktligt ändrade något annat. Utbildning är superkomplex. Det finns massor av rörliga bitar.”

Mohammed sa att studieresultaten inte är alla dåliga. Endast ett av de 67 programmen gav negativa resultat, vilket innebär att barnen i interventionen hamnade sämre än att lära sig som vanligt. De flesta studier slutade producera ”null” – resultat och hon sa att det betyder ”vi gör inte värre än affärer som vanligt. När vi försöker dessa nya saker gör vi inte skada på den akademiska sidan.”

Mohammed påpekade också att inlärningsförbättringar är långsamma och inkrementella. Det kan ta längre tid än till och med den tidshorisont på tre till fem år som innovationsbidragen tillåter.

arton av studierna måste kastas ut på grund av problem med data eller studiedesign. I vissa fall ignorerades alltför många studenter som försökte innovationen i de slutliga siffrorna. När du utesluter barn med funktionshinder, till exempel, som kan skeva resultaten uppåt. För många av de tidiga innovationerna testades inte på tillräckligt många studenter för att producera statistiskt signifikanta resultat. Det betyder att även när eleverna i interventionen gav större testresultat vinster än de i en jämförelsekontrollgrupp, hade forskarna fortfarande att kalla det ett ”null” – resultat om oddsen att reproducera ett sådant positivt resultat inte var bättre än att vända ett mynt. (En av anledningarna till att många små utbildningsstudier inte kan replikeras är att de hade lyckliga flukes i första hand.) I senare bidragstillverkning säger Goodson att de små studierna har ”drivits upp” så att resultaten blir statistiskt användbara. (De kallas nu utbildningsinnovation och forskningsbidrag.)

detta bidragsprogram var också ett första test för att använda rigorösa vetenskapliga bevis som ett sätt att utfärda bidrag i utbildning. Bevisade koncept fick de största bidragen på 25-50 miljoner dollar. Ideer med minst bevis fick mindre än 5 miljoner dollar för att hjälpa dem att bygga en bevisbas. Ideer däremellan kan få 15 miljoner dollar. Bland de 48 minst beprövade ideerna visade sig endast 4 öka studentprestationen. Det är en låg 8 procent framgång. (Länkar till alla offentligt tillgängliga utvärderingar för varje program finns här. Bilaga D i rapporten listar de akademiska resultaten för varje program.)

men program i högsta nivå skulle ha en beprövad rekord och endast två av de fyra — KIPP charter school network och Reading Recovery — genererade starkare testresultat.

Michael Hansen, chef för Brown Center on Education Policy vid Brookings Institution, karakteriserade resultaten som ”avskräckande” men varnade för att höga misslyckanden inte är en anledning att ge upp pedagogisk innovation. ”Det här är karaktären av R& D,” sa han. ”Om vi slutar ge ut bidrag, slutar vi att innovera.”

denna berättelse om innovation inom utbildning skrevs av Jill Barshay och producerades av Hechinger Report, en ideell, oberoende nyhetsorganisation med fokus på ojämlikhet och innovation inom utbildning. Anmäl dig till hechinger nyhetsbrev.