Vem står på namnskylten när AI:n gör fel?

Kort summering

EU:s AI-förordning bygger ett viktigt skydd runt tekniken – men den sätter inget namn på dörren för den människa som drabbas när AI:n gör fel.

Min tes är enkel: när AI påverkar en människas liv måste det alltid finnas en människa med namn, mandat och skyldighet att svara. Precis som en tidning har en ansvarig utgivare.

Här är varför – och vad du kan börja göra i din egen verksamhet redan nu, långt innan lagen tvingar dig.

Föreställ dig att du söker stöd från kommunen – försörjningsstöd, personlig assistans, vård, en insats som på riktigt påverkar ditt liv.

Du skickar in dina uppgifter. Någonstans i processen analyseras de av ett AI-system som jämför din situation med tidigare ärenden, väger risker och lämnar en rekommendation.

Du får avslag. Och någonting verkar inte stämma.

Du frågar vem som ansvarar. Handläggaren säger att beslutet bygger på systemets rekommendation. Kommunen hänvisar till leverantören. Leverantören säger att kommunen valt hur tjänsten ska användas. Utvecklaren av modellen har aldrig hört talas om dig.

Vem ska du vända dig till? Vem kan förklara vad som hänt? Vem har makt att rätta felet?

Och vem står egentligen på namnskylten när AI:n gör fel?

Någon måste stå på namnskylten

Min tes i den här texten är enkel, och jag tänker hålla fast vid den hela vägen:

När AI påverkar en människas liv måste det alltid finnas en människa med namn, mandat och skyldighet att svara – annars är det ingen som är ansvarig, bara ett system.

Den närmaste liknelsen jag kommer på är en ansvarig utgivare. En tidning består av många människor och system – journalister, redaktörer, externa skribenter, nyhetsbyråer. Den ansvariga utgivaren har inte skrivit varje ord. Men det finns en tydlig, namngiven person som bär ansvaret för det som publiceras.

Jag menar inte att vi rakt av kan kopiera tryckfrihetssystemet och lägga det ovanpå varje AI-tjänst. Men principen är precis vad som saknas: en offentligt identifierbar person eller funktion med verkligt mandat att förklara, begränsa och stoppa. Inte för att kontrollera varje rad kod – utan för att ansvar kräver en möjlig adress. Någon som kan svara. Någon som kan agera. Någon som kan säga stopp.

Resten av den här texten handlar om varför den namnskylten behövs – och hur du sätter upp den själv.

Lagen bygger huset – men sätter inget namn på dörren

Den uppenbara invändningen är att EU redan har antagit världens mest omfattande AI-lagstiftning. Och det stämmer.

AI-förordningen (AI Act) ställer konkreta krav på högrisksystem: riskhantering, dokumentation, datakvalitet, loggning, mänsklig kontroll, uppföljning och incidentrapportering. Flera av de områden jag oroar mig mest för – utbildning, rekrytering, kreditvärdering, tillgång till offentliga tjänster, vård, migration – omfattas uttryckligen. En stor del av dörren är alltså redan öppen.

Men förordningen svarar framför allt på en fråga: vilka skyldigheter har organisationer som använder AI? Min fråga är en annan: vem möter människan när organisationen har misslyckats?

Lagen kräver mänsklig kontroll – men skapar ingen motsvarighet till en ansvarig utgivare. Den ger dig sällan rätt att se namnet på den som ytterst ansvarar. Rätten till förklaring är smalare än den låter. Och den kräver inte att alla som kan ha drabbats av en allvarlig incident faktiskt kontaktas. Sanktionerna riktas mot organisationen som helhet, inte mot en identifierbar person.

Det här gör inte lagen tandlös. Den är en mycket viktig grund. Men en grund är inte ett färdigt hus – och den gäller inte ens fullt ut ännu. De centrala högriskreglerna börjar tillämpas först i december 2027. Samtidigt används AI i skarpa beslut redan idag.

För människan som fått avslag är myndighetsstrukturen abstrakt. Hon behöver inte veta vilken tillsynsmyndighet som ansvarar för vilken paragraf. Hon behöver veta vem som kan hjälpa henne nu.

Den som möter människan får inte gömma sig bakom sin leverantör

AI är ofta en lång kedja: en grundmodell, en tjänst ovanpå, en konsult som konfigurerar, en organisation som kopplar på egna data, en chef som beslutar, en medarbetare som tar emot resultatet. Går något fel kan alla peka åt ett annat håll. Var och en kan ha en poäng. Men den människa som drabbats ska inte behöva lösa den juridiska och tekniska gåtan innan hennes ärende kan prövas.

Därför den enkla grundprincipen: organisationen närmast individen bär det yttre ansvaret. Använder en kommun AI för att bedöma stöd ska du kunna vända dig till kommunen. Använder en bank AI i kreditprövningen ska du kunna vända dig till banken. Sedan får organisationen, leverantören och modellutvecklaren reda ut ansvaret mellan sig – bakom kulisserna, inte över huvudet på den drabbade.

Att det här inte är självklart visar ett fall från Kanada. En kund fick felaktig information av Air Canadas chattbot, litade på den och nekades sedan ersättning. Bolaget hävdade att det inte kunde hållas ansvarigt för vad chattboten sagt. Tribunalen avfärdade det: chattboten var inte en egen juridisk person, utan en del av Air Canada, och företaget ansvarade för informationen. Ett litet konsumentfall – men principen är avgörande. Man kan inte skapa en digital representant, låta den tala med kunder och sedan säga att den står utanför företaget när den gör fel.

Vad ansvaret konkret innebär

En namnskylt räcker inte om den bara hänger där. Ansvaret måste ha ett faktiskt innehåll. Jag tror att fem saker hör dit.

Mänsklig kontroll måste vara verklig. Organisationer säger gärna att AI:n bara ger en rekommendation och att en människa fattar beslutet. Men EU-domstolens SCHUFA-avgörande visar att det är det faktiska inflytandet som räknas, inte vem som formellt trycker på knappen. En människa utan tid, mandat, kunskap eller alternativa underlag är ingen självständig beslutsfattare. Hon riskerar att bli en biologisk signatur längst ner på ett automatiserat beslut.

En förklaring måste gå att använda. EU-domstolen slog 2025 fast att den drabbade ska få information som gör det möjligt att förstå och ifrågasätta ett automatiserat beslut. Transparens är inte mängden information som lämnas ut – det är möjligheten att agera utifrån den. En lista med modellvikter hjälper ingen.

Bevisbördan får inte ligga på den svagaste parten. Organisationen sitter på avtal, loggar, tester och riskbedömningar. Den drabbade ser ett avslag på en skärm. När det finns rimliga skäl att misstänka att AI bidragit till ett betydande negativt utfall bör organisationen behöva visa att den agerat aktsamt – inte tvärtom.

De drabbade ska få veta. Upptäcker en organisation att ett system fattat felaktiga beslut ska de som rimligen kan ha påverkats informeras – även innan man säkert vet att just deras beslut blev fel. Rapportering uppåt till en myndighet är inte samma sak som ett besked till människan längst ned.

Stoppknappen behöver flera lägen. Ansvar är inte bara att kunna stänga av. Det kan lika gärna vara begränsad användning, krav på manuell granskning, tätare uppföljning eller oberoende revision. Ibland kan ett tvärstopp i sig skada – tänk ett AI-stöd som hjälper vården upptäcka risker. Poängen är att någon både kan och är skyldig att välja rätt åtgärd.

Finland visar att det här går att göra konkret. Deras lag om automatiserade myndighetsbeslut kräver att en namngiven person ansvarar för kvalitetssäkring och en annan för felhantering, att beslutet att införa automatik offentliggörs och att den drabbade kan begära kostnadsfri omprövning. Ansvaret delas mellan flera funktioner – men "datorn" får aldrig bli slutpunkten i förklaringen. Det viktiga är en obruten ansvarskedja där varje uppdrag har verkligt mandat.

"Men blir det inte bara byråkrati?"

Den starkaste invändningen är att allt det här blir dyrt, långsamt och att det gynnar de stora som har råd med jurister och complianceavdelningar. Det argumentet måste tas på allvar. Kraven kan inte vara identiska för en liten intern skrivassistent och ett system som avgör människors rätt till vård.

Därför måste ansvaret vara proportionerligt och väga två saker: konsekvensen för individen (kan systemet påverka hälsa, frihet, försörjning, rättigheter?) och spridningen (hur många drabbas, hur snabbt sprids ett fel?). Ett litet vårdföretag kan behöva höga krav för att varje beslut är känsligt. Ett stort teknikföretag för att även ett litet fel skalas till miljoner.

Men den svåraste invändningen är denna: vi ställer inte samma krav på människor. En chef eller handläggare kan fatta godtyckliga, dåligt dokumenterade beslut. Varför ska AI hållas till en högre standard?

Av två skäl. Det första är moralisk agens. När en människa beslutar förutsätter vi att hon kan känna ansvar, skämmas, ändra sig och vägra en order som är uppenbart fel. Vi vet ännu inte om det finns något bakom en AI:s formuleringar som rimligen kan kallas det. Det andra är hastigheten. En människas kapacitet är begränsad. Ett AI-system kan fatta, påverka eller förbereda tusentals beslut innan den första överklagan behandlats. Robodebt-skandalen i Australien visar vad som händer när ett felaktigt automatiserat system körs i stor skala: misstaget industrialiseras. Misstag är oundvikliga. Passivitet inför kända risker är det inte.

Det är också därför jag tror på stegvis förtroende. Ett nytt system ska inte få fullt mandat för att det klarat ett tekniskt test. Det ska förtjäna det över tid – från begränsad pilot till ökad självständighet.

Vad du kan göra innan lagen tvingar dig

Du behöver inte vänta på december 2027. Det mesta handlar om ledarskap och rutiner, inte om att vara jurist.

Fem steg mot ett namn på dörren

Sätt ett namn på dörren. Utse en ansvarig för varje AI-system som påverkar människor – med verkligt mandat att stoppa, inte bara en rad i en policy.

Kräv förklarbarhet i upphandlingen. Ni – inte leverantören – ska kunna förklara ett beslut för den som drabbas. Skriv in det i avtalet.

Bygg en väg tillbaka. Se till att det alltid finns en enkel, kostnadsfri väg till mänsklig omprövning – och att den drabbade får veta att ett AI-system varit inblandat.

Mät den mänskliga kontrollen. Följ upp hur ofta era handläggare faktiskt går emot systemet. Är svaret "aldrig" är kontrollen förmodligen en formalitet.

Bestäm era stopplägen i förväg. Vad krävs för att begränsa, granska eller stänga av? Vem beslutar? Vänta inte tills incidenten är ett faktum.

Allt det här kokar ner till en enda sak. Om en människa nekas stöd, vård, arbete, lån eller försäkring får svaret aldrig vara: ingen bestämde egentligen, det var bara systemet.

AI-förordningen bygger huset. Nu behöver vi sätta ett namn på dörren.

Vem tycker du ska stå på namnskylten?

Detta är en personlig reflektion av Tobias Landén, Qlok. Om frågan om vem som ska stå på namnskylten kittlar – eller skaver – hör gärna av dig. Vi gillar att tänka högt om det här tillsammans med andra.

Källor: EUR-Lex – AI-förordningen (2024/1689) · Digital Strategy EU – Regulatory framework for AI · CanLII – Moffatt v. Air Canada · EU-domstolen – SCHUFA · EU-domstolen – rätten till förklaring vid kreditbedömning · Finlex – Lag 906/2019 · Robodebt Royal Commission – Report