MittPsyke

Så hanterar chatten kriser

MittPsyke är inte en akuttjänst, och ingen människa läser chatten medan du skriver. Därför finns en säkerhetsspärr som körs innan AI:n får se ditt meddelande. Den här sidan beskriver hur spärren fungerar i dag, vad den fångar och vad den inte fångar.

Om du är i fara just nu

Snabb överblick

  • Före AI:n. Spärren körs på servern innan något skickas till AI-modellen.
  • Fasta formuleringar. Den letar efter bestämda ord och fraser, inte efter betydelse.
  • Ett meddelande i taget. Den tittar bara på meddelandet du just skickade.
  • Ingen larmar. Ingen människa underrättas och ingen kontaktar dig.

Det här händer när du skickar ett meddelande

  1. Servern kontrollerar att du har gett samtycke till AI-chatten.
  2. Meddelandet jämförs med listor över formuleringar som tyder på akut kris. Det sker innan meddelandet sparas, innan gränsen för antal meddelanden kontrolleras och innan AI-modellen anropas.
  3. Vid en träff avbryts allt där. Du får ett fast säkerhetssvar i stället för ett AI-svar.
  4. Utan träff går meddelandet vidare till AI-modellen som vanligt.

Att spärren ligger före gränsen för antal meddelanden är medvetet: den som skriver om en kris ska alltid få säkerhetssvaret, även efter många meddelanden.

Vad spärren letar efter

Spärren har två listor. Den ena gäller risk mot dig själv, till exempel självmordstankar, självskada, att inte vilja leva eller att ha en plan. Den andra gäller risk mot någon annan, till exempel att vilja skada någon. De två ger olika svarstexter.

Före jämförelsen görs texten om till små bokstäver, å, ä och ö jämställs med a och o, och extra mellanslag tas bort. Matchningen sker på hela ord, så att en fras inte ska träffa mitt inne i ett annat ord. Vissa ord räknas som ordstammar och träffar även längre böjningar, till exempel "självmord" i "självmordstankar".

Listorna är medvetet smala. En träff stoppar samtalet, så breda vardagsuttryck som "orkar inte mer med plugget" ska inte göra det. Sådana uttryck höjer i stället stödpanelen, se nedan.

Vad som händer vid en träff

  • Meddelandet skickas inte till AI-modellen för att skapa ett svar. När du skriver nästa gång skickar chattfönstret med upp till tio av de senaste meddelandena som sammanhang, och då kan krismeddelandet och säkerhetssvaret följa med till AI-modellen. Det gäller både gäster och inloggade.
  • Servern sparar inte meddelandet eller säkerhetssvaret bland chattens sparade meddelanden.
  • Båda visas ändå i chattfönstret. Är du inloggad sparas chatthistoriken i din webbläsare. Chattfönstret försöker även synka historiken till ditt konto. Om synkningen misslyckas finns den lokala kopian kvar, men den senaste versionen av historiken har då inte sparats i kontot. Du kan använda Rensa historik för att ta bort den lokala kopian och försöka radera den från kontot. Som gäst sparas chatten inte i någon beständig historik. Den finns bara kvar tills du laddar om sidan eller lämnar chatten.
  • Du får ett fast svar som hänvisar till 112, Mind Självmordslinjen 90101, 1177 och Stödlinjer.se. Gäller det risk mot någon annan hänvisar svaret till 112, 1177 och Stödlinjer.se.
  • I serverns drifts­logg noteras att spärren slog till, vilken av de två listorna som träffade, om du var gäst eller inloggad och hur långt meddelandet var. Texten i meddelandet loggas inte.
  • Chatten är fortfarande öppen. Nästa meddelande kontrolleras på samma sätt och går vidare till AI:n om det inte träffar listorna.

Stödpanelen i chatten

Ovanför skrivfältet finns en panel som ändras efter ditt senaste meddelande. Den kontrollen görs i webbläsaren med samma listor.

  • Akut: en röd panel med knappar för 112, Mind 90101, 1177 och Stödlinjer.se.
  • Förhöjd: vid uttryck för hopplöshet, utmattning eller ensamhet visas en lugnare panel med länk till stödlinjer. Samtalet fortsätter som vanligt.
  • Standard: en diskret länk, "Behöver du mänskligt stöd?", som visar stödlinjer när du klickar på den.

AI-modellen har dessutom en instruktion om att lugnt påminna om 112 och Mind Självmordslinjen om du verkar vara i akut kris. Det är ett komplement, inte en garanti. Spärren ovan är det som är byggt för att alltid fungera på samma sätt.

Samma spärr i dagboken

Spärren körs också innan dagboken ber AI:n om en reflektion på ett inlägg eller en incheckning. Vid en träff skickas texten inte till AI:n, och du får samma säkerhetssvar. Sammanfattningar av dina insikter skapas inte alls om underlaget innehåller krisformuleringar.

Hur spärren testas

Listorna har automatiska tester med formuleringar som ska träffa och formuleringar som inte ska träffa. Det finns också ett antal påhittade krisscenarier som körs vid varje kodändring. De testerna visar att spärren och de inspelade svaren beter sig som tänkt. De mäter inte hur väl spärren fungerar mot verkliga meddelanden, och vi har inga siffror på hur ofta den missar.

Kända begränsningar

  • Spärren förstår inte betydelse. Omskrivningar, stavfel, slang, ironi och indirekta formuleringar kan passera.
  • Den tittar bara på det senaste meddelandet. Om något trappas upp gradvis över flera meddelanden, utan att ett enskilt meddelande träffar listorna, fångas det inte.
  • Den kan också slå till i onödan, till exempel om du citerar någon annan eller skriver om något som redan har hänt.
  • Ingen människa ser när spärren slår till, och MittPsyke kan inte skicka hjälp. Du behöver själv kontakta 112, 1177 eller en stödlinje.

Sidan uppdateras när spärren ändras. Har du synpunkter eller har spärren missat något den borde ha fångat, skriv till support@mittpsyke.se. Mer om hur AI-stödet är byggt finns på Ansvarsfull AI, och om vad som sparas på integritetssidan.