Metodisk kritik af ETIBA-evalueringen

Evaluering af tilbud til småbørn med autisme – ETIBA – er nu udkommet. Den konkluderer, at hvis børnene træner efter den intensive træningsmetode, ABA, så udvikles børnenes evne til social kontakt. Til gengæld udvikler de almindelige tilbud børnene mere, hvad angår IQ, sprogligt niveau og selvhjælpsfærdigheder. Disse resultater er fremkommet efter sammenligning af udvikling hos småbørn med autisme i fire forskellige typer af dagtilbud: ABA, autismespecifik specialbørnehave, specialbørnehave for børn med blandede handicaps og enkeltintegrerede børn med støtte.

ETIBAs resultater er dog desværre meget påvirket af metodiske problemer med den måde, de psykologiske tests af børnene er gennemført på. Selve de tests, der anvendes til at belyse børnenes IQ, deres sprogudvikling og deres sociale kompetencer, er der ikke noget i vejen med. Det er anerkendte tests, som efterhånden udgør standardtests i undersøgelser af behandlingseffekter i forhold til børn med autisme. Problemet er derimod de tidspunkter, børnene er blevet testet på, og de implicitte forudsætninger, som ligger bag denne tidsplan for gennemførelsen af testene.

I ETIBA er børnene bliver testet to gange, og forskellen på resultaterne ved første og anden test bruges som mål for den udvikling, der er sket i den mellemliggende periode. Men børnene er blevet testet på forskellige tidspunkter, ved forskellig alder og på forskellige stadier i deres autisme-tilbud. Det gælder ikke kun ABA-børnene, men alle børn, der indgår i undersøgelsen. På det første testtidspunkt var der nogle børn, som lige var startet i deres autismespecifikke tilbud, mens andre havde været i gang i kortere eller længere tid. Da børnene blev gentestet for at måle udvikling af IQ, sprog og sociale kompetencer, skete det på samme måde. Nogle blev testet allerede efter seks måneder, mens der for andres vedkommende gik 9 eller 12 måneder mellem testene.

Når man tilrettelægger sine tests på denne måde – med varierende testtidspunkter – så baserer det sig på en implicit forståelse af en lineær udvikling hos børn med autisme. Dette er illustreret som Model I i figuren (den grønne graf). Figuren er en konstrueret model, som alene tjener til at fremhæve nogle metodiske problemstillinger. Når udviklingen – som i Model I – er lineær, kan man frit vælge tidspunkterne for både den indledende og den afsluttende test. Eftersom børnene i denne model udvikler sig jævnt fordelt over tid, bliver testresultater ikke påvirket af, at man ikke tester dem på samme tidspunkt i deres behandlingsforløb. Sagt på en anden måde: Den målte udvikling vil være den samme, hvad enten man tester første gang i fx januar og sidste gang i juli, eller hvis man i stedet vælger at teste første gang i maj og sidste gang i november. Og den målte udvikling vil være den samme, hvad enten man tester første gang ved starten af behandlingen eller vælger at vente med den indledende test. ETIBA-evalueringens tests er gennemført efter Model I.

Konstruerede modeller for udvikling af børn i behandlingstilbud

Men hvis børn med autisme ikke udvikler sig lineært – som i Model II (blå kurve) – så holder disse forudsætninger ikke. I Model II er udviklingen ujævn: I starten sker der en kraftig udvikling, som efterhånden aftager, således at kurven flader ud som tegn på en langsommere udvikling. Lige som den anden model er Model II et tænkt eksempel, som er konstrueret for at illustrere nogle metodiske problemer i ETIBA-evalueringen.

Hvis børn med autisme ikke udvikler sig lineært, så bliver det helt afgørende, på hvilke tidspunkter testene foretages, og resultaterne kan kun sammenlignes, hvis børn i forskellige typer af tilbud testes på samme tidspunkt i deres behandlingsforløb. Som man kan se af Model II, så vil en tidlig starttest resultere i en helt anderledes udvikling, end hvis starttesten tages på et senere tidspunkt.

De to modeller kan også belyse konsekvenserne af, at man i ETIBA-evalueringen ikke har testet børnene, inden de startede på deres tilbud, men først meget senere. Nogle børn er testet få måneder efter tilbuddets start – andre børn er testet år efter starten på deres tilbud. I Model I har denne udsættelse af den første testrunde ingen betydning for resultaterne – de vil være identiske uanset, hvornår testene placeres. Men i Model II vil en udsættelse af den indledende test få store konsekvenser for resultaterne. Ved at udsætte den indledende test vil den opfølgende test resultere i betydelig mindre udviklingseffekter end i Model I.

Ved at sammenligne Model I og Model II kan man få en illustration af disse forskelle. I begge modeller bliver den første test foretaget med den samme tidsmæssige forsinkelse i forhold til behandlingens start. I begge modeller scorer børnene ens ved den første test, som i det tænkte eksempel resulterer i et udviklingsindeks på ca. 60 i begge tilfælde. I begge modeller bliver gentestningen foretaget efter den samme tid, og i begge modeller er resultatet igen identisk – ca. 70. Det vil sige, at børnenes udvikling i begge modeller og over den samme tid har været 10 point. Hvis de to modeller havde drejet sig om børn i forskellige typer af autisme-tilbud, så måtte man altså konkludere, at effekterne af de to tilbud var identiske, og at de derfor var ligeværdige.

Hvis man i det ovennævnte eksempel i stedet havde testet børnene ved behandlingens start, så ville børnene i Model I have forøget deres udvikling med 20 point fra start til slut (fra index 50 til index 70), mens forøgelsen i Model II i stedet ville have været 45 point – nemlig fra 25 ved behandlingens start til 70 ved 2. test.

Man ved relativt lidt om, hvordan udvikling hos børn med autisme forløber. Det er kun blevet belyst i nogle enkelte videnskabelige undersøgelser. Men alt taler for, at børn med autisme ikke udviklinger sig lineært. Også børn uden autisme udvikler sig i større eller mindre ryk – i perioder går deres udvikling langsomt, i andre perioder går udviklingen hurtigere. Men det gælder i endnu højere grad for børn med autisme. Deres udviklingsprofil er skæv – for hvert enkelt barn kan være meget store forskelle på barnets færdigheder inden for forskellige udviklingsområder, og de er samtidig en meget heterogen gruppe. Desuden har det vist sig, at deres udvikling ofte sker i spring, hvilket ikke er overraskende, eftersom opnåelse af nogle kernefærdigheder (fx imitation, legefærdigheder og kommunikative færdigheder) i sig rummer kimen til yderligere udvikling.

International forskning i kognitiv, sproglig og social udvikling hos børn i ABA-behandling har netop dokumenteret sådanne udviklingsspring i starten af deres behandlingstilbud (Sallows & Graupner 2005). Ingen ved, om læringsmønsteret hos børn i andre former for autismespecifikke tilbud er det samme. Men der er intet, der tyder på, at børn med autisme udvikler sig lineært.

Derfor kan man ikke konkludere på den måde, som det sker i ETIBA-evalueringens effektanalyse. Eftersom ingen kender til børnenes testresultater, inden de startede i deres tilbud, er det ikke muligt at sammenligne effekterne af de forskellige tilbud.

Rapporten ETIBA, en forskningsbaseret evaluering af rehabiliterings- og træningsindsatsen for børn med autisme herunder evaluering af behandlingsmetoden ABA (Applied Behavior Analysis) kan downloades fra MarselisborgCentrets website (NB: stor PDF-fil, 9 MB)

Reference:

Sallows, G. O., & Graupner, T. D. (2005). Intensive Behavioral Treatment for Children With Autism: Four-Year Outcome and Predictors. American Journal on Mental Retardation, 110(6), 417-438.

Joi Bay / 31.01.2007