Pokuta 5 milionů eur za „virtuálního společníka“

Americká společnost provozující „virtuálního společníka“ na bázi AI dostala od italského dozorového úřadu pokutu ve výší 5 milionů eur za porušení GDPR. Problémem bylo nedostatečné ověřování věku uživatelů i chybné informování subjektů údajů. Co by si z případu měli vzít čeští správci?

Pokud by mohla mít AI emoce, nebo dokonce strach, pravděpodobně by se vyhnula dovolené v Itálii. Tamní dozorový úřad totiž provozovatele generativních modelů příliš v lásce nemá a poté, co v roce 2023 udělil pokutu společnosti OpenAI ve výši 15 milionů eur a nakrátko zakázal v Itálii její provoz (věc se týkala nedostatků ChatGPT ohledně GDPR), si našel nového viníka. V květnu 2025 udělil pokutu americké společnosti Luka Inc. za provoz chatbotu Replika, který slouží jako „virtuální společník“. Tento virtuální společník však nebyl v souladu s GDPR a v určitých případech byl i nebezpečný.

Pozadí případu

Replika je chatbot využívající generativní umělou inteligenci, který má sloužit jako „virtuální společník“ a má uživatelům pomoci sledovat jejich náladu, vyrovnat se se stresem a vyřešit jejich emocionální a psychické problémy. Chatbot může být nakonfigurován tak, aby zastával různé role, například vašeho přítele, terapeuta, mentora, nebo dokonce milostného společníka, který byl dostupný prostřednictvím textového i hlasového rozhraní a nabízel tak relativně komplexní uspokojení některých potřeb.

Řízení bylo zahájeno na základě vyšetřování. Do hledáčku italského dozorového úřadu se společnost dostala poté, co se v médiích objevily zprávy podezřívající Repliku z toho, že měla vést nezletilé uživatele k sebepoškozování.

Už na začátku roku 2023 tak italský dozorový úřad nařídil správci, tedy společnosti Luka Inc., aby preventivně zastavil zpracování osobních údajů všech uživatelů v Itálii, protože se celkem pochopitelně domníval, že předmětný chatbot nefunguje zcela v souladu s GDPR. O několik měsíců později italský dozorový úřad sice umožnil opětovné zpracování osobních údajů skrze Repliku, nicméně pod podmínkou, že správce podnikne kroky k zajištění souladu Repliky s předpisy o ochraně osobních údajů, včetně za vedení účinného systému ověřování věku, který zabrání nezletilým v přístupu k chatbotu a jenž do té doby ve službě chyběl.

Virtuální společník zpracovával údaje o nezletilých uživatelích a mohl je ohrozit

Klíčová zjištění

Italský dozorový úřad na základě dalšího vyšetřování chatbotu zjistil, že prakticky všechna opatření zavedená správcem nebyla dostačující, a konstatoval tak porušení článků 5 odst. 1 písm. a) a c), čl. 6, 12, 13, 24 a 25 odst. 1 GDPR. Italský dozorový úřad tak potvrdil, že k údajným porušením oznámeným na začátku roku 2023, kdy nařídil první zablokování Repliky, skutečně došlo.

Správce poskytl italskému dozorovému úřadu zásady ochrany osobních údajů, které byly v několika ohledech shledány jako nedostatečné. Italský dozorový úřad dále potvrdil, že správce do února 2023 nezavedl žádné mechanismy ověřování věku, a to ani při registraci, ani během používání chatbotu, přestože prohlásil, že nezletilé osoby jsou z potenciálních uživatelů vyloučeny. Fakticky však byly vyloučeny jen pouhou proklamací na stránkách společnosti, respektive v podmínkách. Systém ověřování věku, který správce později zaváděl, považoval italský dozorový úřad v několika ohledech i nadále za nedostatečný.

K jednotlivým porušením

Italský dozorový úřad shledal v daném případě porušení GDPR spočívající zejména v porušení zásady zákonnosti a transparentnosti zpracování. Dále italský dozorový úřad zjistil porušení povinnosti zavedení vhodných technických a organizačních opatření v souvislosti s nedostatečným ověřováním věku uživatelů, s čímž souviselo i porušení zásady minimalizace osobních údajů.

Zásadu zákonnosti porušil správce tím, že neuvedl jasnou a srozumitelnou informaci o tom, na jakém právním základu zpracování skrze Repliku vůbec probíhá. Společnost Luka Inc. obecně uváděla, že osobní údaje zpracovává, přičemž uvedla pouze implicitní náznaky právních základů ve své dokumentaci – jenže už blíže nespecifikovala, o jaký konkrétní právní základ (například souhlas, smlouva, oprávněný zájem) se daná operace opírá.

Implicitně naznačené právní základy navíc nebyly přiřazeny ke konkrétním účelům zpracování (což je bohužel opakovaný nešvar i v mnoha zásadách zpracování, se kterými se potkáváme u nás v Česku), což pochopitelně znemožňovalo vyhodnotit oprávněnost jednotlivých operací. V rámci účelů zpracování navíc nebyl uveden účel zpracování údajů pro trénování AI modelu a právní základ pro tento účel tedy nebyl vůbec zmíněn – ačkoliv k tomu zjevně docházelo. Italský dozorový úřad tak došel k závěru, že zpracování osobních údajů skrze chatbot Replika je z výše popsaných důvodů nezákonné.

Ruku v ruce s porušením zákonnosti tak přichází i porušení zásady transparentnosti, které dozorový orgán shledal jednak ve výše zmíněných nejasnostech v právních základech zpracování a jednak v porušení transparentnosti, která souvisela se zásadami ochrany osobních údajů chatbotu Replika. Zásady ochrany osobních údajů porušovaly zásadu transparentnosti zejména tím, že:

• byly dostupné pouze v angličtině, ačkoliv byl chatbot směřován i na italské uživatele;

• nerozlišovaly mezi různými účely zpracování osobních údajů;

• neuváděly, že Replika je určena výhradně pro dospělé uživatele;

• neuváděly dobu, po kterou jsou osobní údaje uchovávány;

• chybně uváděly, že osobní údaje mohou být předány do USA;

• nesprávně uváděly, že uživatelé mohou být předmětem automatizovaného rozhodování, na které se vztahuje článek 22 GDPR.

  
  

A nakonec – povinnost zavedení vhodných technických a organizačních opatření byla porušena tím, že správce nezavedl dostatečná opatření pro ověřování věku uživatelů, a to navzdory tomu, že Replika byla určena pouze pro uživatele starší 18 let. Na počátku vyšetřování neexistoval v rámci Repliky žádný mechanismus pro ověřování věku uživatelů. Později správce tento mechanismus implementoval. Italský úřad však považoval mechanismus za nedostatečný, například proto, že uživatelé mohli po registraci změnit své datum narození uvedené při registraci ve svém profilu.

V neposlední řadě shledal italský dozorový úřad porušení zásady minimalizace. Tato zásada byla porušena tím, že z důvodu neověření věku uživatelů došlo ke shromažďování a zpracování osobních údajů nezletilých osob, a tudíž zjevně k překročení stanoveného účelu (tedy poskytování služeb Repliky pouze dospělým uživatelům).

Uložená sankce

Za porušení výše uvedených ustanovení GDPR uložil italský dozorový úřad společnosti Luka Inc. pokutu ve výši 5 milionů eur (přibližně 123 milionů korun). To by mělo odpovídat přibližně 2 % celosvětového ročního obratu společnosti Luka Inc., což je polovina maximální výše možné sankce podle GDPR. Jak je vidět, pokuta byla poměrně vysoká a italský dozorový úřad zdůraznil, že její výše reflektuje opakovaná a závažná porušení základních principů ochrany osobních údajů.

Je však nutno dodat, že uvedená porušení byla zjištěna na základě oznámení správce ještě z roku 2023. Nicméně správce později vytvořil nové zásady zpracování, přičemž italský dozorový úřad poznamenal, že nové informace správce o ochraně osobních údajů v souvislosti s Replikou jsou z právního hlediska přesnější. Italský dozorový úřad ale ponechal napůl zdvižený prst s tím, že je připraven dále vyšetřovat určité aspekty případu v jiném postupu na základě nových skutečností.

GDPR platí i pro umělou inteligenci

Virtuální přátelství je fenomén dnešní doby, který jsme si nedokázali ještě donedávna ani představit. Stále více uživatelů používá chatboty k různým činnostem či rozhovorům o lásce, přátelství a nenávisti. Málokterý uživatel si však uvědomuje, že integrální součástí každého z chatbotů je to, že se snaží vždy zdokonalovat – k čemuž však potřebuje uživatelská data. Tato data jsou bez jakýchkoliv pochybností osobními údaji, které se však každý podnikatel, jenž zpracovává osobní údaje na území EU, zavazuje chránit. Tento případ poukazuje na to, že provozovatelé moderních technologií, jako je například generativní umělá inteligence, musejí zkrátka dodržovat GDPR. To, že provozovatelé sídlí mimo Evropskou unii, je od sankce neochrání, pokud jimi poskytované technologie cílí na evropské uživatele.

Pokud byste si z tohoto případu měli vzít alespoň všeobecné ponaučení, bude se týkat právě připomínek dozorového orgánu k samotné informační povinnosti správce. Schválně si prostudujte svoje zásady a zkontrolujte, zda vaše informování o účelech a právních základech je řešeno správně, tedy nikoliv na několika místech bez uvedení jasné informace o tom, který účel se zpracovává na základě jakého právního základu. I v roce 2025 (tedy cca 8 let od vydání Pokynů WP29 k transparentnosti, které na tento požadavek jednoznačně upozorňují) se totiž jedná o velmi častou chybu informačního dokumentu.

Článek byl publikován v Elektronickém zpravodaji pro pověřence