den ‘beskidte hemmelighed’ om uddannelsesinnovation

få vigtige uddannelsesnyheder og analyser leveret direkte til din indbakke

som en del af den føderale genopretningsindsats for at øge økonomien efter recessionen i 2008, USA. Uddannelsesafdelingen havde pludselig en stor gryde med penge at give væk til “innovationer” inden for uddannelse. Siden da er mere end 1, 5 milliarder dollars brugt på næsten 200 ideer, fordi kongressen fortsatte med at passende midler, selv efter at recessionen sluttede. Store bidder gik til at bygge nye KIPP-charterskoler og træne tusinder af nye Teach For America-rekrutter til at blive lærere. Andre midler gjorde det muligt for mindre kendte programmer i læsning, skrivning, matematik og naturfagsundervisning at nå klasseværelser rundt om i landet. Mange af tilskudsprojekterne involverede teknologi, undertiden leverer lektioner eller materiale over Internettet. En “innovation” var at hjælpe lærere med at vælge gode apps til deres studerende. En anden var for en ny måde at evaluere lærere på.

for at opnå tilskuddene måtte modtagerne afgøre, om deres ideer var effektive ved at spore testresultater. Resultaterne er i for den første bølge af 67 programmer, der repræsenterer omkring $700 millioner af innovationsstipendierne, og det ser ikke lovende ud.

kun 12 af de 67 innovationer, eller 18 procent, viste sig at have nogen positiv indvirkning på elevernes præstation, ifølge en rapport offentliggjort tidligere i 2018. Nogle af disse positive virkninger var meget små, men så længe de studerende, der modtog den “innovative behandling”, havde større testscoregevinster end en sammenligningsgruppe af studerende, der blev undervist som sædvanligt, tællede det.

“det er kun en håndfuld,” sagde Barbara Goodson, en forsker ved Abt Associates Inc., et forsknings-og konsulentfirma, der blev ansat til at analysere resultaterne af Investing in Innovation (i3) Fund for Department of Education. “Det er nedslående for alle. Vi er desperate efter at finde ud af, hvad der fungerer. Her var et program, der skulle identificere lovende modeller. Folk er skuffede over, at vi ikke kom med 20 nye modeller.”

” det er den beskidte hemmelighed for al uddannelsesforskning, ” tilføjede Goodson. “Det er virkelig svært at ændre elevernes præstation. Vi har sjældent været i stand til at gøre det. Det er sværere end nogen tror.”Hun citerede en tidligere undersøgelse fra 2013, der også fandt, at når uddannelsesreformer blev sat til strenge videnskabelige tests med kontrolgrupper og tilfældig tildeling, kunne 90 procent af dem ikke finde positive effekter.

Hvorfor er innovation så hård i uddannelse?

til Goodson, der har specialiseret sig i forskning i førskoleundervisning i 40 år, er problemet, at læring i sidste ende handler om at ændre menneskelig adfærd, og det er altid svært for voksne og børn. Og så mange andre ting — som ernæring, søvn, sikkerhed og forhold derhjemme — påvirker læring. “Vi har længe vidst, at økonomiske baggrundskarakteristika oversvømmer enhver uddannelsesintervention,” sagde hun. “Vi starter med kun at kunne gøre en lille forskel i, hvordan folk gør det. Uddannelseshåndtaget fungerer kun på et lille stykke af kagen.”

i nogle tilfælde kan de nuværende effektivitetsmål, generelt standardiserede vurderinger, være for brede til at fange målene for disse innovationer, sagde Goodson. For eksempel kan et phonics-program hjælpe nogle børn med at læse mere flydende. Men evnen til at læse mere flydende kan kun indirekte indfanges i en læsningstest, der er fokuseret på forståelse og ordforråd. En intervention rettet mod bløde færdigheder, såsom evnen til at fortsætte og prøve igen, kan slet ikke måles på disse konventionelle tests.

mange interventioner er rettet mod børn, der er flere klassetrin bagud. En matematisk test i syvende klasse opfanger muligvis ikke, hvordan en studerende udviklede sig gennem to års matematik fra tredje klasse multiplikation af enkeltcifre til femte klasse tilføjelse af fraktioner. I stedet kan testen foreslå en lille akademisk forbedring, fordi den studerende flubbed de fleste af syvende klasse spørgsmål om løsning for H og graftegning ligninger.

en mere følsom målestok til måling af innovation ville kræve oprettelse og administration af flere prøver til studerende. Det er svært at sælge til rektorer, lærere og familier, der måske allerede føler, at der er for meget test i skolerne.

Saro Mohammed, en partner hos Learning Accelerator, en nonprofitorganisation, der støtter brugen af teknologi til at skræddersy instruktion til hvert barn, siger, at det undertiden er svært at bevise, at en innovation fungerer, skyldes utilsigtede konsekvenser, når skoler prøver noget nyt. For eksempel, hvis en skole øger den tid, som børn læser uafhængigt for at forsøge at øge læsepræstationen, kan det forkorte den tid, som eleverne arbejder sammen sammen eller deltager i en gruppediskussion.

” dine læseresultater kan vise sig at være de samme , men det er ikke fordi uafhængig læsning ikke virker,” sagde Mohammed. “Det er fordi du uforvarende ændrede noget andet. Uddannelse er super kompleks. Der er masser af bevægelige stykker.”

Mohammed sagde, at undersøgelsesresultaterne ikke alle er dårlige. Kun et af de 67 programmer gav negative resultater, hvilket betyder, at børnene i interventionen endte dårligere end at lære som normalt. De fleste undersøgelser endte med at producere “null” resultater, og hun sagde, at det betyder “vi gør ikke værre end business as usual. Når vi prøver disse nye ting, gør vi ikke skade på den akademiske side.”

Mohammed påpegede også, at læringsforbedringer er langsomme og trinvise. Det kan tage længere tid end endda den tre til fem-årige tidshorisont, som innovationstilskuddene tillod.

atten af undersøgelserne måtte smides ud på grund af problemer med dataene eller undersøgelsesdesignet. I nogle tilfælde blev for mange studerende, der prøvede innovationen, ignoreret i de endelige tal. Når du udelukker børn med handicap, for eksempel, der kan skæv resultaterne opad. For mange af de tidlige innovationer blev ikke forsøgt på nok studerende til at producere statistisk signifikante resultater. Det betyder, at selv når eleverne i interventionen producerede større testscoregevinster end dem i en sammenligningskontrolgruppe, måtte forskerne stadig kalde det et “null” – resultat, hvis oddsene for at gengive et sådant positivt resultat ikke var bedre end at vende en mønt. (En af grundene til, at mange små Uddannelsesstudier ikke kan replikeres, er fordi de var heldige flukes i første omgang.) I nyere bevillingsfremstilling siger Goodson, at de små undersøgelser er blevet “tændt”, så resultaterne vil være statistisk nyttige. (De kaldes nu Uddannelsesinnovation og forskningsstipendier.)

dette tilskudsprogram var også en første test af at bruge strenge videnskabelige beviser som en måde at udstede tilskud på i uddannelse. Beviste koncepter modtog de største tilskud på 25-50 millioner dollars. Ideer med mindst bevis modtog mindre end $ 5 millioner for at hjælpe dem med at opbygge en evidensbase. Ideer imellem kan få $15 millioner. Blandt de 48 mindst beviste ideer blev kun 4 fundet at øge elevernes præstation. Det er en lav 8 procent succesrate. (Links til alle de offentligt tilgængelige evalueringer for hvert program er her. Bilag D i rapporten viser de akademiske resultater for hvert program.)

men programmer i det højeste niveau skulle have en dokumenteret track record, og kun to af de fire — KIPP charter school — netværket og Reading Recovery-genererede stærkere testresultater.

Michael Hansen, Direktør for det brune Center for uddannelsespolitik ved Brookings Institution, karakteriserede resultaterne som “nedslående”, men advarede om, at høje fejlfrekvenser ikke er en grund til at opgive uddannelsesinnovation. “Dette er karakteren af R & D,” sagde han. “Hvis vi holder op med at give tilskud, så holder vi op med at innovere.”

denne historie om innovation i uddannelse blev skrevet af Jill Barshay og produceret af Hechinger Report, en nonprofit, uafhængig nyhedsorganisation med fokus på ulighed og innovation inden for uddannelse. Tilmeld dig Hechinger nyhedsbrev.