Bergens Tidende – 18.12.2009 – Side: B027
På en av sine reiser besøker kaptein Lemuel Gulliver et akademi for gale forskere. Forsøkene de utfører er besynderlige. Det som viser at de er gale er at forsøkene blir gjentatt, igjen og igjen, når de feiler.
En forsker har i åtte år forsøkt å utvinne solstråler fra agurker. Overbevist om å lykkes bedre i de neste åtte årene ber han Gulliver om litt bistand – «siden agurker er kostbare på denne årstiden».
Mangel på resultater
Jonathan Swift, forfatteren av denne satiren, ville ha følt seg hjemme i Oslo den 30. november. Da la Norad frem sin «Resultatrapport» for norsk bistand. Hvis mangelen på resultater uroer, så lot de det ikke vise. Hvordan kan så mange positive enkeltevalueringer føre til så lite utvikling?
Samlet bistand til Afrika er anslått til trehundreogfemti tusen millioner kroner i året. Likevel er realinntekt pr. innbygger i dag lavere enn den var i 1970. Antallet fattige har doblet seg siden 1990. «Utviklingen som forsvant» er et av de store mysteriene i bistandsforskningen.
Tilfeldig evaluering
Resultatene av Norges 26,2 milliarder kroner i bistand skal finnes i «Årsrapport for Evaluering av Norsk Utviklingssamarbeid». Det er denne rapporten Norad gjerne viser til når det påpekes at «Resultatrapporten» ikke egentlig er noen resultatoversikt, men en løst fundert betenkning.
Evalueringsrapporten er tykk på adjektiver og tynn på tall. Hva som evalueres synes tilfeldig. Evalueringsdirektør, Asbjørn Eidhammer, slår seg til ro med at «det kan vere vanskeleg å slå fast konkrete resultat».
Norads «storsatsing» mot korrupsjon avdekket 12 millioner på avveie, dvs. 0,0004 % av et budsjett som i stor grad rettes mot verdens mest korrupte stater. Ikke imponerende.
«Lettvint og ukritisk»
Norad skryter ofte av at ingen offentlig praksis er mer gjennom-evaluert enn bistand. Så hvorfor vet vi da ikke mer? Noe av svaret ligger i at bistandskonsulentene ofte tar igjen i fartstid i bistandsindustrien det de mangler i forskerkompetanse.
En studie fra Chr. Michelsens Institutt viser den høyst variable kvaliteten på slike konsulentevalueringer. I kjølvannet av studien påpekte professor Lise Rakner at bistandsevalueringer er blitt en global industri preget av «lettvint og ukritisk arbeid».
Tennis uten nett
Robert Frost har sagt at å skrive poesi i ubunden form, er som å spille tennis uten nett. Det samme kan kanskje sies om å evalueres av en tidligere kollega.
Konklusjonene i evalueringene har i de senere år blitt stadig mer duse. Kanskje som et resultat av at utviklingen i utviklingslandene får det høye ambisjonsnivået i giverlandene til å virke oppblåst.
Spredt norsk bistand
I dag konkluderer de aller fleste med variasjoner på temaet «her har mye gått bra, men enkelte ting har ikke gått fullt så bra og dette bør følges nøye fremover».
Denne praksisen fører med seg et åpenbart problem. Hvis alle initiativer får samme skussmål er det jo umulig å bruke dem som rettesnor for å rette pengene dit de gjør mest nytte?
Norge «løser» dette med å spre bistanden tynt i mange sektorer og mange land. Noe må da virke.
Bistand-lobbyen
Mye er blitt sagt mye om de gjensidige avhengighetsbåndene innad i den norske bistandslobbyen. Det er hevet over tvil at elitesirkulasjon og kameraderi har utviklingshemmet kritiske perspektiver.
Eyolf Jul-Larsen og Astri Suhrke, seniorforskere ved CMI nylig foreslo «å skape et genuint program for kritisk bistandsforskning opptatt av grunnleggende problemstillinger om årsak og konsekvens, ansvar og politiske koblinger».
Jeg slutter meg til dette og kan for egen regning legge til at vi trenger økt fokus på kvantitativ analyse.
I Norge kan ikke noen resept-belagt medisin – selv ikke mot liktær – bli solgt uten bevis for at den er «trygg og virkningsfull». Den avtalte offentlige standarden for bevislig effekt og sikkerhet er en kontrollert, randomisert dobbel-blind evaluering (RTC). Dette er for å forsvare legestandens første bud: «Først: Gjør ingen skade».
Bistand på avveier skader ofte mottakeren gjennom å avle korrupsjon, kortslutte markedsmekanismer og svekke folkestyre. Det er noe av grunnen til at de som har fått mest, ikke gjør det best.
Brannmur mot idealisme
RTC er også en brannmur mot blind idealisme. I norsk bistandskultur sees erfaringsbasert innsikt på som den høyeste form for innsikt. Det antas at «feltarbeid» i et gitt afrikansk land gir uangripelig innsikt i dette landets anliggender.
Problemet er bare at informasjonsbærerne ikke kun videreformidler hva de har sett – de fortolker også. Et eksempel: Norads rapportør i 1989 oppmuntret Norge til å støtte Mugabes ekspropriering av den hvite minoriteten.
Vi vet i dag at dette var startskuddet for avviklingen av rettsstaten. Afrika har vært gjenstand for tankegods som vi aldri ville drømt om å slippe til her hjemme.
Frihet fra metode
Norad har ikke tatt til seg ny-positivismen. Det er ennå ikke stuerent å si at RCT er et mindre usikkert grunnlag at treffe budsjettbeslutninger på enn enkeltstående resultatmålinger, tidsseriestudier, eller målinger av tilfredshet.
En del av forklaringen på dette kan finnes i forskjeller i fagdisipliner, deres selvforståelse og forståelse av viten.
Et eksempel er forskjellen mellom leger – som blir skolert i å forholde seg kritisk til egen praksis på bakgrunn av en tydelig forståelse av årsakssammenhenger – og antropologene som utgjør flertallet av utviklingsforskerne.
For ofte er «metodefrihet» blitt til «frihet fra metode».
Mangler faktiske resultater
Forskerne Esther Dufflo og Michael Kremer påpeker at historisk sett har slik RTC-analyse utgjort en forsvinnende liten del av bistandsevalueringer. Selv om mange satsingsområder ikke kan evalueres på denne måten er det et stort antall prosjekter som kan det.
Ved hjelp av kontrollgrupper og tallfesting av spesifikke målsettinger som «hvor mange barn kan lese» og «hvor mye har gjennomsnittsinntekten økt» kan snu fokus fra betalingsvilje (som det ikke skorter på i Norge) og til faktiske resultater (som det skorter på).
Tallknuserne kan gi bedre informasjon om hvilke bistandsprogrammer som virker, og hvilke som ikke gjør det. Slik kan Norge bistå med kunnskap til nytte for givere – og mottakere.
Bergens Tidende - 18.12.2009 - Side: B027