Chatbot skuffer i jura-test

ChatGPT 3.5 blev lanceret 30. november 2022, og havde allerede i januar i år 100 millioner aktive brugere. Den kunstige intelligens, som er specielt tilpasset til at generere svar i en live chat, er blevet hyldet verden over, men der har også været kritik. For selvom de automatisk generede svar kan være genveje til f.eks. ny viden, kan det være risikabelt at tro på alt, hvad gratis versionen af ChatGPT 3.5 fortæller.

Det var konklusionen i Danes Worldwides juridiske afdeling, hvor vores jurist Lisbeth Kjersgaard testede syv spørgsmål fra medlemmerne. Nogle af svarene var helt forkerte – og med store konsekvenser til følge – andre var næsten rigtige.

Forkert svar kan få store konsekvenser

Chatbotten svarede ikke 100 % korrekt på et eneste af de syv spørgsmål, vi testede. Til gengæld svarede den helt forkert på tre, og enten ikke fyldestgørende eller med afgørende mangler på de sidste fire. Til et spørgsmål om bevarelse af dansk statsborgerskab for en 21-årig søn, var svaret helt forkert.

Konsekvensen ved at acceptere svaret fra chatbotten, og altså ikke søge om bevarelse af det danske statsborgerskab, som man skal i det pågældende tilfælde, ville være, at sønnen mistede sit statsborgerskab. Endda helt uden at være klar over det. For de danske myndigheder sender ikke servicemeddelelser ud om det.

Vores test viser, at det stadig er nødvendigt at tage hensyn til chatbottens begrænsninger og risici, når vi anvender den. Det er nødvendigt, at vi kender dens begrænsninger og seneste opdateringer, at vi er kildekritiske og ikke mindst stiller de rigtige spørgsmål for at få svar, vi kan bruge til noget.

Ikke opdateret siden 2021

Som hovedregel er det vigtigt at sætte sig ind i, hvorvidt den intelligens man benytter, er helt opdateret. Den tilgængelige gratis version af ChatGPT, som jurist Lisbeth Kjersgaard testede, var ikke blevet opdateret siden september 2021, hvilket i sig selv er problematisk, da jura er et felt i konstant udvikling.

Et godt eksempel er reglerne for familiesammenføring, hvor der sidste år kom ny retspraksis med den glædelige virkning, at flere lettere kan få familiesammenføring. Det fremgår ikke i brugen af ChatGPT, hvilket giver et usikkert grundlag:

”Almindelige mennesker har ikke en chance for at vide, om der er sket ændringer i gældende love og regler. Derfor er der også en stor usikkerhed forbundet med at bruge kunstig intelligens, der ikke er 100 % opdateret,” siger Lisbeth Kjersgaard.

ChatGPT har potentiale til at revolutionere mange områder af vores liv, men vi er endnu ikke i mål, når det kommer til globale danskeres juridiske udfordringer.

Det er ikke kun på familiesammenføringsområdet, at der er sket ændringer. Love bliver konstant prøvet af ved domstolene, hvor afgørelser får betydning for fremtidige sager. Også ved angivelser af pengesummer, takster og satser er der grund til at være ekstra opmærksom, da de typisk ændres fra år til år. F.eks. hvor meget du må tjene, før du skal betale skat.

Jura bygger på kilder, nuancer og erfaring

ChatGPT er trænet til at læse og forstå tekster fra en bred vifte af kilder, herunder bøger, artikler, forskningsrapporter og nyhedsmedier fra hele verden. Den har adgang til en stor mængde tekstbaseret information på internettet, men når den formidler informationen til dig, er det som udgangspunkt uden kildehenvisning. Det gør det umuligt for dig at vide, hvor informationen kommer fra.

Selvom AI kan være god til at genkende mønstre og tendenser, kan den have problemer med at forstå de mindre forskelle, der kan påvirke en juridisk vurdering.

I nogle tilfælde laver chatbotten kildekritik på sig selv. F.eks. ved at nævne, at der kan være sket ændringer, samt hvor man kan henvende sig for mere information. Det er vigtigt. For AI har i modsætning til f.eks. jurister ikke samme evne til at analysere spørgsmål og indhente den ekstra information, som er nødvendig for at kunne give et fyldestgørende svar:

”Når vi svarer på medlemmernes spørgsmål, er det altid en individuel behandling med udgangspunkt i gældende love og information fra offentlige myndigheder. Det er selvsagt meget vigtigt, at medlemmerne kan have tillid til vores svar, og at vi har mulighed for at nuancere og påpege potentielle forbehold i vores egne svar,” siger Lisbeth Kjersgaard.

Det juridiske fagområde er ofte fuld af nuancer, som kan være svære at tolke. Selvom AI kan være god til at genkende mønstre og tendenser, kan den have problemer med at forstå de mindre forskelle, der kan påvirke en juridisk vurdering.

Vi er der ikke endnu

ChatGPT har potentiale til at revolutionere mange områder af vores liv, men vi er endnu ikke i mål, når det kommer til globale danskeres juridiske udfordringer. Det er derfor vigtigt at have menneskelige jurister, der kan tage hensyn til faldgruber og risici og ikke mindst sikre, at juridiske beslutninger træffes på en retfærdig og etisk måde.

Anbefalingen fra Danes Worldwides juridiske rådgivning er derfor at forhøre sig hos en fagperson, hvis der er tale om vigtige spørgsmål, hvor forkert information kan få vidtrækkende konsekvenser. Og spørger man alligevel ChatGPT, så husk at teste svarene hos troværdige kilder.

_{De syv spørgsmål til gratis versionen af ChatGPT omhandlede statsborgerskab, pengegaver, folkepension, familiesammenføring, adgang til læge i Danmark for udlandsdanskere og CPR-registrering. Spørgsmålene blev formuleret med inspiration fra vores medlemmers spørgsmål. Testen blev foretaget tirsdag d. 21. marts 2023.}