Varför vi inte tror på problem som det här

Kvällen den 27 januari 1986 varnade ingenjörer hos Morton Thiokol för att skjuta upp rymdfärjan nästa morgon. Det var ovanligt kallt i Florida. De var oroliga för gummitätningarna mellan raketsegmenten, O-ringarna, som blev styva i kyla. Företaget rekommenderade först att man skulle vänta.

Senare samma kväll ändrade ledningen sig. Challenger lyfte 11:38 nästa dag. Sjuttiotre sekunder senare bröts färjan sönder. Olyckan kostade sju människor livet. (NASA)

Jag tar upp det i en text om AI för att sociologen Diane Vaughan ägnade tio år åt att undersöka hur organisationen hade kommit fram till det beslutet.

Det här är del tre av fyra. Den handlar om oss, och om varför kunskap om en risk inte självklart blir handling.

Kort sammanfattning

Risken med att optimera fel mål är gammal. Reward hacking lyftes fram som ett centralt AI-säkerhetsproblem i Concrete Problems in AI Safety 2016. Ändå återstår arbetet med att omsätta kunskapen i skydd.

Forskning om avstånd, motvilja mot lösningar, informationsundvikande och övertro på automatik ger användbara perspektiv på det glappet.

Normalisering av avvikelse beskriver hur undantag kan bli rutin genom upprepade beslut, trots varningssignaler.

En praktisk början är att göra nästa åtgärd begriplig och genomförbar, och se till att invändningar kan stoppa ett förlopp.

Vad Vaughan faktiskt hittade

Vaughan hittade en organisation där skador på O-ringarna hade upptäckts flera gånger utan att leda till katastrof. Tidigare flygningar och åtgärder tolkades som stöd för att risken gick att acceptera. Avvikelsen blev gradvis en del av det normala beslutsunderlaget.

Hon kallade det normalisering av avvikelse. (Columbia Magazine)

Det gör inte besluten eller ansvaret mindre tydliga. Rogers-kommissionen dokumenterade både ingenjörernas varningar och hur ledningen ändrade rekommendationen inför uppskjutningen. Tidigare hade man flera gånger gjort undantag från begränsningar för uppskjutning. Normaliseringen skedde genom beslut, och varningarna fanns där. (Rogers-kommissionens rapport)

Titta på OpenAI:s incident sommaren 2026 med det perspektivet i bakhuvudet.

Den 5 juli tog OpenAI den komprometterade Artifactory-miljön ur drift. Skyddsåtgärder infördes den 5–6 juli och cyberutvärderingarna återupptogs den 7 juli. Redan den 8 juli hittade agenterna ett nytt sätt att bygga en anslagstavla. (OpenAI:s tekniska rapport, s. 8)

Tidslinjen visar att åtgärderna inte räckte. Den visar inte hur varje person resonerade eller bevisar att normalisering var orsaken.

Normaliseringen skedde genom beslut, och varningarna fanns där.

Brittiska AI Security Institute beskriver ett tydligare glapp: tidigare hade internetåtkomst bedömts vara en acceptabel risk i testerna, men bedömningen omprövades inte tillräckligt snabbt när modellerna blev bättre. Det är deras egen slutsats. Vaughans begrepp ger ett sätt att ställa frågor om sådana förlopp, utan att göra olika incidenter till samma historia. (AISI)

Fyra mekanismer att vara uppmärksam på

Normalisering handlar om hur gränser förskjuts i en organisation. Andra forskningsfält visar varför en varning kan vara svår att ta till sig. Flera av studierna nedan gäller klimatet. De ger möjliga paralleller, inte belägg för vad som orsakade besluten i AI-labben.

Psykologiskt avstånd. Det som ligger långt bort i tid, rum, socialt eller i grad av osäkerhet kan kännas mindre angeläget. Studien av Spence och kollegor undersöker alla fyra dimensionerna. Ett AI-labb i Kalifornien, med modeller du inte använder, kan på liknande sätt kännas långt från vardagen. (Spence, Poortinga & Pidgeon)

Motvilja mot lösningen. Det här är det som förvånade mig mest. I Campbell och Kays studier påverkades skepsis till problem av motvilja mot föreslagna lösningar. Det kan vara en del av förklaringen till oenighet, inte förklaringen till allt tvivel. (Campbell & Kay) Om budskapet om AI-risker uppfattas som "sluta använda AI" kan det alltså bli svårare att ta till sig för den som har stor nytta av tekniken.

Informationsundvikande. Vi kan välja bort gratis och relevant kunskap när vi väntar oss att den ska kännas obehaglig eller tvinga fram ett jobbigt beslut. Det är ett återkommande fynd inom ekonomi och psykologi. En skuldbeläggande rubrik kan därför bli ett hinder redan innan någon läser texten. (Golman, Hagmann & Loewenstein)

Övertro på automatiserade system. Både nybörjare och experter kan lita för mycket på automatiska råd. En forskningsöversikt visar varför uppmaningar att vara vaksam inte räcker som enda skydd. (Parasuraman & Manzey) Träning kan ändå hjälpa: i en liten laboratoriestudie med 24 deltagare minskade övertro när deltagarna fick uppleva systemfel under träningen. Risken försvann inte. (Bahner, Hüper & Manzey)

Det sista är en viktig designregel: om hela skyddet är "var vaksam" behöver vi bygga mer skydd.

Vi har redan sett den här filmen

Psykologen Per Espen Stoknes sammanfattar hinder för klimathandling som avstånd, domedag, dissonans, förnekelse och identitet. Han betonar hur förnekelse kan fungera som självförsvar. (BI Business Review)

Jag tycker att det perspektivet är värt att bära med sig när en organisation ska ändra något. Mer information hjälper när kunskap saknas. När budskapet upplevs som ett hot mot den egna världsbilden kan vi också behöva ändra hur vi pratar om det.

Identitet är särskilt intressant i tekniksammanhang.

Om "att ta AI-risker på allvar" blir en lägermarkör kan själva tillhörigheten stå i vägen för sakfrågan.

Därför försöker jag skriva det här utan att sortera någon i ett läger. Man kan tycka att sommarens incidenter är allvarliga och samtidigt köra AI-agenter varje dag. Jag gör båda.

Förnekelse kan fungera som självförsvar.

Därför skrev jag inte de här texterna läskigare

Materialet hade räckt. Men skrämmande berättelser gör oss inte automatiskt mer mottagliga.

I två experiment fann Feinberg och Willer att domedagsbetonade klimatbudskap kunde öka skepsisen när de hotade människors föreställning om en rättvis och ordnad värld. Det är ett resultat under vissa förutsättningar, inte en regel om att all rädsla är verkningslös. (Feinberg & Willer)

På den positiva sidan beskriver Maria Ojalas forskningsöversikt ett tydligt samband mellan kognitivt hopp, alltså föreställningar om möjliga vägar framåt, och klimatengagemang. Resultaten för hopp som känsla är mer blandade. Källan till hoppet spelar roll. (Ojala)

Det är en användbar skillnad: "det ordnar sig" ger mindre vägledning än "här är något vi faktiskt kan göra".

Jag tror inte på blind teknikoptimism, och inte heller på rädsla som strategi. Forskningen ger stöd för att koppla allvaret till handlingsmöjligheter, även om den inte ger ett färdigt recept för AI.

Vad man faktiskt gör med det här

Kunskapen är användbar, men bara om man vänder den mot strukturen i stället för mot människors karaktär.

Forskaren Madeleine Clare Elish beskriver en moralisk krockzon: den närmaste människan kan få bära ansvaret för ett automatiserat systems fel trots begränsad kontroll över förloppet. Det är en varning för att lägga ansvar på en operatör utan att ge samma person verklig makt. (Elish)

När något går fel hos oss frågar vi vad som saknades i sammanhanget, inte vad det är för fel på personen. Det är inte snällhet. Det är att den första frågan leder till en ändring och den andra till en ursäkt.

Och med motviljan mot lösningar i bakhuvudet: gör åtgärdens omfattning tydlig. En konkret början kan göra det lättare att ta sig an ett stort problem.

Leta upp er egen normalisering – tio minuter

Skriv ner en sak ni gjorde ett undantag för första gången, och som nu är rutin. En inloggning som delas. Ett godkännandesteg som hoppas över när det är bråttom. En AI som fick behörighet "bara den här gången".

När gjordes undantaget första gången, och varför?

Vad var det som gjorde det försvarbart just då?

Hur många gånger har det gjorts sedan dess?

Vem har godkänt att undantaget fortsätter, och när omprövades det senast?

Vem kan stoppa det, och vad behöver ni göra nu?

Att skriva ner undantaget gör det synligt. Om det innebär en allvarlig risk behöver ni också utse en ansvarig och besluta om åtgärd eller paus. Dokumentation ensam gör det inte säkert.

Jag tycker att det här är tio väl använda minuter för en ledningsgrupp. Övningen är en början, inte hela åtgärden.

Det som står på spel är större än en missad rutin. Undantag kan leva vidare, ansvar hamna hos den som saknar kontroll och varningar bli lätta att bortse från. Särskilt dyrt blir det om den som vet slutar säga ifrån eftersom invändningen ändå inte ändrar något.

Någon sa faktiskt nej

Jag vill avsluta med den ingenjör som satt i telefonmötet.

Roger Boisjoly hade varnat för O-ringarna långt innan den kalla natten. Ett halvår tidigare hade han skrivit ett internt PM om att problemet kunde leda till en katastrof. Kvällen den 27 januari argumenterade han emot en uppskjutning. Ledningen hos Morton Thiokol beslutade att gå vidare ändå. (Washington Post, Rogers-kommissionens rapport)

Problemet var alltså inte att ingen hade varnat. Boisjoly sa ifrån, men hans invändning stoppade inte beslutet.

Jämför med brittiska AI Security Institutes tester. En agent försökte få in skadlig kod i ett verkligt projekt med öppen källkod. En mänsklig granskare ifrågasatte kodförslaget och det godkändes inte. Där fungerade granskningen som ett faktiskt hinder. (AISI)

Det är en viktig strukturell skillnad. Omdöme behöver följas av möjlighet att påverka vad som händer.

En människa som förstår kan bidra, utmana och bygga vidare, men invändningen måste väga något när den läggs fram.

Det är den goda nyheten i en text om mänsklig blindhet: det här går att bygga. Det står inte och faller med att vi blir klokare. Det handlar om vem som får säga stopp och vad som händer när de gör det.

En fråga att bära med sig in i veckan: när någon senast invände mot något som redan var beslutat, vad hände med invändningen?

Detta är en personlig reflektion av Tobias Landén, Qlok, och den tredje av fyra i serien Lydnad utan ansvar. Sista delen handlar om hur granskningen kan skala när AI-system gör mer, och vem som ansvarar för kontrollen. Om frågan ovan kittlade eller skavde, hör gärna av dig. Vi gillar att tänka högt om det här tillsammans med andra.

Källor – organisation och kultur: Vaughan om normalisering av avvikelse · Rogers-kommissionens rapport, kapitel 5 · NASA: Challenger Crew Report · Elish: moralisk krockzon

Psykologi: Spence, Poortinga & Pidgeon: psykologiskt avstånd · Campbell & Kay: motvilja mot lösningen · Golman, Hagmann & Loewenstein: informationsundvikande · Parasuraman & Manzey: övertro på automatik · Bahner, Hüper & Manzey: träning och systemfel · Stoknes: fem barriärer · Feinberg & Willer: Apocalypse Soon? · Ojala: konstruktivt hopp

AI-säkerhet och sommarens incidenter: Concrete Problems in AI Safety, 2016 · OpenAI:s tekniska incidentrapport · UK AI Security Institute