"Este primul instrument de acest gen din lume", se arăta într-un comunicat de presă publicat de Poliția Națională Spaniolă. Veripol a fost prezentat în 2018 ca un algoritm capabil să detecteze plângerile false de jaf cu violență, cu o precizie de peste 90%. În octombrie 2024, șase ani mai târziu, acest sistem AI a încetat să mai fie operațional, conform confirmărilor primite de Civio de la Cabinetul Tehnic al Direcției Generale a Poliției. Ministerul de Interne spaniol precizează că motivul pentru care s-a renunțat la utilizarea sa este lipsa validității în procedurile judiciare.

Abandonarea Veripol vine la trei luni după publicarea în Monitorul Oficial Spaniol (BOE) a Regulamentului European privind inteligența artificială, care include detectoarele de minciuni printre sistemele AI cu „risc ridicat”, pentru care sunt prevăzute obligații stricte în ceea ce privește revizuirea, actualizarea și transparența. La sfârșitul lunii septembrie, un raport elaborat de specialiști în drept și matematică de la Universitatea din Valencia a semnalat deficiențe serioase ale instrumentului. Prima dintre acestea este lipsa de informații despre funcționarea sa.

Dezvoltarea sistemului a fost realizată de mai mulți cercetători de la Universitățile Complutense și Carlos III, precum și de polițistul Miguel Camacho-Collados, în prezent responsabil cu inovația tehnologică și securitatea cibernetică în Consiliul de Stat. Conform articolului academic care detaliază dezvoltarea sa, eșantionul cu care a fost antrenat instrumentul a fost compus din 1.122 de plângeri de jaf în Spania din 2015, dintre care 534 erau reale și restul de 588, false. Au procesat textele plângerilor cu tehnici NLP (Procesarea Limbajului Natural) — simplificându-le pentru a fi procesate automat — și au clasificat cuvintele utilizate pe tipuri, eliminând toate cele care apăreau în mai puțin de 1% din eșantion sau în mai mult de 99%. Apoi, au aplicat diverse metode de regresie statistică pentru a alege cuvintele care erau mai frecvente în plângerile false și, respectiv, reale.

De exemplu, studiul menționează că, potrivit Veripol, dacă o plângere conține cuvintele „zi”, „avocat”, „asigurare” sau „spate”, este mai probabil să fie falsă, mai ales dacă numărul „două sute” sau adverbe precum „abia” sunt menționate de mai multe ori. În schimb, plângerile care fac referire la autobuze, la o anumită marcă de telefon mobil sau la numărul de înmatriculare al unei mașini sunt mai probabil să fie reale. Cuvinte cheie: inteligență artificială, plângeri false, sistem Veripol, Poliția Națională Spaniolă, algoritm, transparență, Regulamentul European, jaf, securitate cibernetică.

În iunie 2017, a fost efectuat un test pilot în secțiile de poliție din Málaga și Murcia. Potrivit articolului academic, în 83,54% din plângerile identificate ca false de Veripol, reclamantul a sfârșit prin a mărturisi că a mințit. În decembrie 2017, cercetarea a fost premiată de Fundația Poliției Spaniole, iar în 2018, Ministerul de Interne a anunțat implementarea sa în toate secțiile de poliție.

Conform datelor organizației Algorithm Watch, de la implementarea sa până în octombrie 2020, Veripol a fost utilizat pentru a analiza aproximativ 84.000 de plângeri. Din cele 49.702 plângeri procesate în 2019, 2.338 au fost identificate ca false atât de acest instrument, cât și prin alte mijloace. Studiul Universității din Valencia arată că, în 2022, a fost folosit mult mai puțin: numărul plângerilor analizate de Veripol a scăzut la 3.762, dintre care 511 au fost detectate ca false.

Același raport subliniază deficiențe serioase ale instrumentului, începând chiar de la premisa sa: ideea de bază că 57% din plângerile de jaf cu violență depuse sunt false, o cifră care are ca referință numărul mare de cazuri de jaf nerezolvate. De asemenea, critică dimensiunea redusă a eșantionului, de puțin peste 1.000 de plângeri, comparativ cu aproximativ 60.000 de cazuri de jaf cu violență înregistrate anual în Spania, conform Portalului Statistic al Criminalității. Se mai critică și lipsa unui protocol de utilizare și a informațiilor privind pregătirea oferită agenților de poliție pentru utilizarea sa. O știre publicată în 2020 de La Voz de Galicia avertiza că secția de poliție din Vigo, care avea programul din 2018, nu îl putea folosi din cauza lipsei de pregătire a agenților săi.

Se subliniază, de asemenea, că plângerile analizate de Veripol au fost, de fapt, redactate de agenții de poliție, deci nu sunt o reproducere literală a declarației reclamantului. „Nu analizează povestea pe care posibilul mincinos o spune poliției, ci analizează povestea pe care polițistul însuși o scrie”, subliniază raportul, adăugând că instrumentul nu ține cont nici de diferențele de limbaj între teritorii.

Dar, mai presus de toate, critică opacitatea privind utilizarea sa. „Sistemul nu este transparent”, concluzionează raportul Universității din Valencia. „Nu există date oficiale disponibile despre Veripol”, adaugă acesta. Civio a solicitat în februarie 2023 și, din nou, în decembrie 2024, informații despre funcționarea tehnică a acestui instrument și despre utilizarea sa, fără ca Ministerul de Interne, până în prezent, să ofere un răspuns, nici măcar cu privire la numărul de secții de poliție în care a fost implementat în cele din urmă.

Acest articol a fost publicat inițial în Civio, o redacție independentă non-profit care investighează în profunzime problemele publice.

Metodologie:

În februarie 2023, Civio a solicitat Ministerului de Interne, în baza Legii Transparenței, specificațiile tehnice ale Veripol, cazurile sale de utilizare și orice alt document care permite să se știe cum funcționează aplicația și ce informații conține sau poate conține. În fața refuzului Ministerului de Interne de a furniza aceste informații, au depus o reclamație la Consiliul pentru Transparență și Bună Guvernare, care, la 31 octombrie a aceluiași an, a decis dreptul de acces și a ordonat Ministerului de Interne să furnizeze informațiile solicitate. Singurele informații furnizate în cele din urmă au fost link-urile către comunicatele de presă publicate de Poliție și de Universitatea Complutense despre punerea sa în funcțiune și premiul acordat de Fundația Poliției Spaniole.

În decembrie 2024, Civio a solicitat din nou informații legate de Veripol. Mai exact, lista secțiilor de poliție în care instrumentul a fost implementat și datele de utilizare, inclusiv numărul de cazuri procesate pe an și procentul dintre acestea în care instrumentul a concluzionat că plângerea era falsă. Ministerul a răspuns indicând că au încetat să utilizeze Veripol la 21 octombrie 2024 și au refuzat să ofere date de utilizare. În prezent, este activă o reclamație la Consiliul pentru Transparență și Bună Guvernare pentru a accesa aceste date.

David Cabo și Ana Villota au participat la geneza și implementarea jocului.

În pre-printul articolului publicat în revista Knowledge-Based Systems, „Applying automatic text-based detection of deceptive language to police reports: Extracting behavioral patterns from a multi-step classification model to understand how we lie to the police” (Lara Quijano-Sánchez, Federico Liberatore, Jose Camacho Collados și Miguel Camacho-Collados, Universitatea Cardiff, 2018), sunt colectate date din 2015 despre instrument, precum și o listă de 110 termeni, traduși din spaniolă în engleză. Civio a contactat autorii, dar aceștia nu au furnizat lista originală de cuvinte în spaniolă.

Prin urmare, pentru a evita ambiguitățile derivate din traducere, au fost colectate doar acele cuvinte care sunt explicate în context. Lista finală de termeni, cu ponderile lor respective (cu cât valoarea este mai mare, cu atât influența este mai mare), de cuvinte care apar sau apar foarte frecvent, determină că plângerea este probabil falsă: zi (0,48), avocat (0,43), asigurare (0,24), spate (7,74), rucsac (0,10), umăr (17,99), cască (26,92), iPhone (25,56), Apple (0,23), abia (?), în spate (0,12), două sute (0,30), euro (6,81), numerar (19,18), contract (19,19).

Selecția care a fost făcută pentru cazul plângerii probabil adevărate este: autobuz (0,52), număr de înmatriculare (0,19), lanț (16,06), poliție (0,31), chinez (52,58), gât (16,62), portal (0,26), palier (0,36), chiar (72,31), barbă (0,34), centimetru (0,09), subțire (0,09), brunet (0,10), a țipa (40,67), a apuca (0,12), doctor (16,75), prieten (0,13).

Vizualizarea jocului a fost dezvoltată cu Svelte.js.