När AI har fel

En av de mest vanliga frågorna jag får när jag håller kurs är någon variant av: ”Men hur ska man kunna lita på AI om den ibland svarar helt fel?”

Idag dök det upp ett ovanligt tydligt exempel på just det. I ett LinkedIn-inlägg lyfte Josef Falk att han hade frågat ChatGPT 5.5 Instant: ”Hur många veckodagar har bokstaven A i sig?” – och fått svaret ”Tre: måndag, tisdag och lördag.”

Tvärsäkert. Och helt fel.

Det blev en bra utgångspunkt för en diskussion. För när jag själv hoppade in i tråden och testade samma fråga i samma modell – fast i Thinking-läge – så svarade den rätt. Det här är min reflektion över vad det egentligen säger om AI, om hur vi använder den, och om oss själva.

Kort summering

Samma fråga, samma modell, två lägen. I Instant-läge svarade ChatGPT tvärsäkert fel. I Thinking-läge tänkte den i fem sekunder och svarade rätt: alla sju veckodagar slutar på -dag och har därför bokstaven A.

Det öppnar för en större fråga: är det rimligt att en AI svarar tvärsäkert fel istället för att säga ”jag vet inte”? Och hur bygger vi egentligen tillit till ett verktyg som ibland har fel?

Mitt svar: ungefär på samma sätt som vi bygger tillit till människor.

Samma modell, två svar

Det som gör exemplet intressant är inte att en AI hade fel. Det händer hela tiden. Det intressanta är vad som hände när jag testade samma fråga i samma modell – men i ett annat läge.

I Instant-läget skjuter modellen från höften. Den får ingen tid att granska sina egna tankar, ingen möjlighet att stanna upp och fråga sig ”vänta nu, stämmer det här verkligen?”. Den producerar ett svar och skickar iväg det. Det var det läget Josef hade testat – och det var där den svarade tvärsäkert fel.

När jag istället slog på Thinking-läget fick samma modell några sekunder på sig att arbeta igenom problemet innan den svarade. Den hann notera att alla veckodagar på svenska slutar på -dag. Att alla därför innehåller bokstaven a. Och att rätt svar är sju, inte tre.

Fem sekunder. Det är hela skillnaden mellan ett tvärsäkert fel och ett korrekt svar.

En obekväm parallell till oss själva

Det här påminner förresten obehagligt mycket om hur vi själva fungerar.

Du känner säkert igen det. Någon ställer en fråga i en grupp. Du svarar snabbt, lite på reflex. Strax efter inser du att du sa fel – och hade du bara fått tänka i tio sekunder hade du sagt något helt annat. Den där snabba responsen är inte att du är dum. Den är att hjärnan hellre levererar ett svar snabbt än rätt svar långsamt.

Daniel Kahneman skrev en hel bok om det – System 1 och System 2. Snabbt och intuitivt mot långsamt och eftertänksamt. När jag pratar AI med kursdeltagare brukar jag säga att den uppdelningen håller på att bli relevant även för maskinerna. Instant-läget är AI:ns System 1. Thinking-läget är dess System 2.

Och precis som hos oss människor är det inte alltid System 1 som ska få bestämma.

”Men borde den inte säga att den inte vet?”

Josef hängde inte med på min entusiasm över Thinking-läget. Han ställde en följdfråga i tråden som jag bär med mig:

Men är det bra och rimligt att den svarar tvärsäkert fel istället för att säga att den inte vet? Och hur vet man i förväg att den inte kommer att klara av en specifik fråga i läget för ”vardagliga frågor” om den inte klarar triviala frågor som denna?

Det är en helt rimlig invändning. Och den är värd att tas på allvar, för den landar mitt i det som många upplever som obehagligt med AI: att den låter lika säker när den har rätt som när den har fel.

Men jag tror också att frågan blottar något i vårt sätt att tänka kring AI som är värt att vända på.

Hur vet vi att en människa har rätt?

När jag tänker på Josefs fråga blir min motfråga den här: hur vet vi det när det är en människa?

Hur vet du att kollegan som svarar dig i Teams faktiskt har tänkt igenom frågan? Hur vet du att läkaren på vårdcentralen inte skjuter från höften? Hur vet du att hantverkaren som säger ”det här fixar jag” verkligen har koll på vad hen lovar?

Svaret är att vi nästan aldrig vet. Vi bygger tillit på andra sätt.

Dels bygger vi den över tid, som en relation. Vi lär oss vem som brukar ha rätt om vad. Vi lär oss vem som säger ”det här kan jag inte” när hen inte kan. Vi lär oss vem som är duktig på att förklara och vem som krånglar till det. Det tar veckor, månader, ibland år.

Dels bygger vi den genom formella bevis. Betyg på kurser. Referenser från tidigare arbetsgivare. Intyg och certifieringar. Inte för att de garanterar något – utan för att de ger oss en startpunkt när relationen ännu inte hunnit byggas.

Och dels bygger vi den genom att prata med varandra. Vi frågar kollegor: ”har du jobbat med den här konsulten – hur var hen?” Vi delar erfarenheter, varnar för fallgropar, tipsar om vad som funkar.

Min poäng är inte att AI är som en människa. Den är inte det. Men sättet vi behöver bygga tillit på liknar mer det vi gör med människor än det vi gör med en kalkylator.

Felförväntan: tanken på AI som ofelbart system

Jag tror att en av de vanligaste tankefällorna kring AI är att vi vill att den ska vara ett system som alltid levererar rätt. En sorts uppgraderad miniräknare. Och så fort den misslyckas med något trivialt – som att räkna bokstäver – så känns det som ett svek.

Men i praktiken är AI mer mänsklig än så. Den har bra dagar och dåliga dagar. Den är vass på vissa områden och osäker på andra. Den blir bättre om du ger den tid, kontext och tydliga ramar. Den blir sämre om du stressar den, är otydlig eller frågar om något den inte är byggd för.

Det betyder inte att vi ska acceptera tvärsäkra felaktiga svar. Tvärtom. Modellutvecklarna har ett tungt ansvar att bygga in fler tillfällen där AI:n säger ”det här är jag osäker på”. Det jobbas på det, och det blir bättre – men det är inte löst.

Vad vi som användare kan göra är att sluta behandla AI som ett orakel och börja behandla den som en kollega. En väldigt påläst kollega som ibland har fel.

Mer HR-fråga än IT-fråga

Det finns ett gammalt uttryck som blivit lite slitet, men som jag tycker har fått ny relevans i AI-tider: det är mänskligt att fela. Vi accepterar det när det handlar om människor. En kollega som missar en deadline. En läkare som ställer fel diagnos första gången. En själv som svarar fel i en grupp. Vi tycker inte att det är bra – men vi förstår att det hör till.

När en AI gör samma sak reagerar vi annorlunda. Då ringer det i någon kulturell larmklocka: det här är ju en dator, datorer ska inte ha fel. Och det är precis där tankefällan sitter.

I mina föreläsningar brukar jag landa i det här ungefär så: AI är inte riktigt en IT-fråga. Eller åtminstone inte bara det.

När vi köper ett vanligt IT-system – ett affärssystem, en CRM-lösning, ett ärendehanteringssystem – letar vi efter något stabilt och förutsägbart. Vi väljer en leverantör, skriver ett avtal, sätter upp integrationer, utbildar användarna en gång och förväntar oss sedan att det bara funkar. När det inte gör det ringer vi support eller byter leverantör.

Den modellen funkar inte lika bra på AI. För en AI är inte ett färdigt verktyg som man köper en gång. Den är en kapacitet som behöver vårdas, utvecklas och ibland korrigeras över tid. Den har bra perioder och svaga perioder. Den passar bättre för vissa uppgifter än för andra. Den behöver feedback för att bli bättre. Den behöver tydliga ramar för att inte ta sig vatten över huvudet.

Det börjar låta misstänkt likt en medarbetare.

Jag tror att vi har mer att lära av HR-området än av IT-området när vi ska bygga en bra relation till AI. På HR-sidan har vi sedan länge byggt upp en hel verktygslåda för att hantera just det som AI nu också är: en kompetens som varierar över tid, beroende på sammanhang och stöd. Vi har:

Rekrytering och onboarding – vi väljer rätt person till rätt roll och ger den en ordentlig introduktion. Jämför med att välja rätt modell till rätt uppgift och ge den rätt kontext från start.

Utvecklingssamtal – vi sätter oss ner regelbundet och frågar: vad funkar, vad funkar inte, vad behöver vi justera? Jämför med att utvärdera hur AI faktiskt används i organisationen – inte bara om licensen är aktiv.

Löpande feedback i vardagen – inte bara på utvecklingssamtalet, utan i små korrigeringar när det behövs. Jämför med hur du i en chatt ifrågasätter, korrigerar och styr om AI:n när den glider iväg.

Teambuilding och kulturarbete – vi bygger förtroenden mellan människor som behöver samarbeta. Jämför med att internt prata om vilka modeller som funkar för vad, dela prompts, lära av varandras misstag.

Omplacering och, ibland, uppsägning – när en roll inte passar en person, eller en person inte passar en roll, gör vi förändringar. Jämför med att byta modell, byta leverantör, eller helt enkelt sluta använda AI för en viss typ av uppgift där den inte håller måttet.

Det betyder inte att AI är en människa. Det är den inte. Men organisationens förhållningssätt till AI har mer gemensamt med hur vi bygger team än med hur vi förvaltar IT-system. Och i de organisationer där den insikten har landat tror jag att man kommer ha betydligt enklare att lyckas med tekniken – för man har redan en mogen verktygslåda. Den heter bara något annat.

Tre saker att ta med sig från detta

När jag pratar AI med kursdeltagare brukar jag landa i tre saker som jag tror är värda att ta med sig från det här lilla veckodags-exemplet.

1. Ge AI:n tid att tänka när det spelar roll. Instant-läget är ofta tillräckligt. Men när frågan kräver eftertanke – när du jobbar med ett resonemang, en analys eller något där detaljerna är viktiga – så slå på Thinking-läget. Fem sekunder är en billig försäkring.

2. Bygg tillit som du bygger med en kollega. Lär dig var din AI är vass och var den är svag. Märk när den brukar smita undan med vaga svar. Märk när den är bra på att säga ”det här är jag osäker på” och när den inte är det. Den kunskapen kommer bara genom att jobba med den över tid.

Det är också därför vi på Qlok är så besatta av att lära ut hur man pratar med AI:n. Vår Promptguide: AI på rätt KURS är ett enkelt sätt att tänka kring det:

Kontext – vad behöver AI:n veta?

Uppdrag – vad ska den göra?

Ramar – vad ska den inte göra, och hur ska resultatet se ut?

Samspel – hur jobbar ni er fram till ett resultat du står för?

Det sista – samspelet – är det som bygger tilliten. Att inte nöja sig med första svaret. Att ifrågasätta. Att be om motargument. Att låta AI:n vara fel ibland, och själv vara den som upptäcker det.

3. Prata med varandra om vad som funkar. Det här är kanske det viktigaste. Tillit till AI är inte en privat sak du bygger ensam framför skärmen. Den byggs i samtal med kollegor. Vilken modell brukar du använda till det här? Hur formulerade du den prompten? Vad gjorde du när den svarade fel? Den typen av erfarenhetsutbyte är, tror jag, det som kommer skilja organisationer som lyckas med AI från de som famlar.

Det fina med en trivial fråga

Det finns något fint i att en så banal fråga – hur många veckodagar har bokstaven A – kan öppna upp en så stor diskussion. Och i att den faktiskt gjorde det. En mängd människor som stannade upp och funderade tillsammans på vad vi rimligen kan kräva av den här teknologin.

Det är precis sådana samtal jag vill ha fler av. För det är där tilliten byggs. Inte i en pressrelease från ett AI-bolag. Inte i ett tvärsäkert svar från en chatt. Utan i den där lite stökiga, lite frustrerande, lite undrande dialogen som vi har med varandra om vad det här verktyget faktiskt är – och vad vi vill att det ska vara.

Fem sekunders betänketid räddade en AI från att svara fel om veckodagar. Lite mer betänketid – och lite mer samtal – kan rädda oss från att tänka fel om AI.

Om bakgrunden

Artikeln är min personliga reflektion utifrån en LinkedIn-diskussion kring ett inlägg av Josef Falk, där han visat hur ChatGPT 5.5 Instant svarat tvärsäkert fel. Att samma modell svarade rätt i Thinking-läge var något jag själv testade i tråden. Tack till Josef för en frågeställning som var värd att tänka vidare på.

Har du egna exempel där AI har svarat tvärsäkert fel – eller överraskat dig genom att säga ”det här är jag osäker på”? Hör gärna av dig. Vi gillar att tänka högt om det här tillsammans med andra.