Studiu BBC: Chatboții cu inteligență artificială nu sunt capabili să rezume cu exactitate știrile

Patru chatboturi de inteligență artificială (AI) importante rezumă inexact știrile, potrivit unei cercetări efectuate de BBC care a oferit ChatGPT de la OpenAI, Copilot de la Microsoft, Gemini de la Google și Perplexity AI conținut de pe site-ul BBC, apoi le-a pus întrebări despre știri. Răspunsurile rezultate conțineau „inexactități semnificative” și distorsiuni, transmite BBC.

Într-un blog, Deborah Turness, directoare a BBC News and Current Affairs, a declarat că inteligența artificială aduce „oportunități nesfârșite”, dar companiile care dezvoltă instrumentele „se joacă cu focul”.

„Trăim în vremuri tulburi și cât va dura până când un titlu distorsionat de inteligența artificială va provoca daune semnificative în lumea reală?”, a întrebat ea.

Companiile de tehnologie care dețin roboții de chat au fost contactate pentru comentarii.

În cadrul studiului, BBC a cerut ChatGPT, Copilot, Gemini și Perplexity să rezume 100 de știri și a evaluat fiecare răspuns.

Jurnaliștii care erau experți relevanți în subiectul articolului au fost rugați să evalueze calitatea răspunsurilor oferite de asistenții AI.

S-a constatat că 51% din toate răspunsurile AI la întrebări despre știri au fost considerate ca având probleme semnificative de o anumită formă.

În plus, 19% dintre răspunsurile AI care citau conținutul BBC conțineau erori factuale, cum ar fi afirmații factuale incorecte, numere și date.

Pe blogul său, Turness a declarat că BBC încearcă să „deschidă o nouă conversație cu furnizorii de tehnologie AI”, astfel încât să putem „lucra împreună în parteneriat pentru a găsi soluții”.

Ea a făcut apel la companiile de tehnologie să își „retragă” rezumatele de știri AI, așa cum a făcut Apple după plângerile BBC că Apple Intelligence denaturează știrile.

Inexactități faptice

Printre exemplele de inexactități găsite de BBC se numără:

– Gemini a afirmat incorect că Serviciul Național de Sănătate (NHS) nu recomandă vaping ca ajutor pentru renunțarea la fumat

– ChatGPT și Copilot au afirmat că Rishi Sunak (fost premier britanic) și Nicola Sturgeon (fosta șefă a executivului scoțian) erau încă în funcție, chiar și după ce au demisionat.

– Perplexity a citat greșit BBC News într-un articol despre Orientul Mijlociu, spunând că Iranul a dat dovadă inițial de „reținere” și a descris acțiunile Israelului drept „agresive”

În general, Copilot de la Microsoft și Gemini de la Google au avut probleme mai semnificative decât ChatGPT de la OpenAI și Perplexity, care îl numără pe Jeff Bezos printre investitorii săi.

În mod normal, BBC își blochează conținutul de chatbot-urile AI, dar și-a deschis site-ul web pe durata testelor din decembrie 2024.

Raportul a afirmat că, pe lângă inexactitățile faptice, chatbot-urile „s-au străduit să facă diferența între opinie și fapte, au editorializat și adesea nu au reușit să includă contextul esențial”.

Pete Archer, directorul de programe al BBC pentru inteligență artificială generativă, a declarat că editorii „ar trebui să dețină controlul asupra modului în care conținutul lor este utilizat, iar companiile de inteligență artificială ar trebui să prezinte modul în care asistenții procesează știrile, precum și amploarea și domeniul de aplicare al erorilor și inexactităților pe care le produc”.

Un purtător de cuvânt al OpenAI a declarat pentru BBC News: “Am colaborat cu partenerii pentru a îmbunătăți acuratețea citărilor și pentru a respecta preferințele editorilor, inclusiv pentru a permite modul în care aceștia apar în căutare prin gestionarea OAI-SearchBot în robots.txt. Vom continua să îmbunătățim rezultatele căutării”.

Robots.txt este o instrucțiune din codul unei pagini web care solicită unui robot să nu utilizeze pagina respectivă în rezultatele căutării.