Studiul a constatat că modelele de IA de lider nu sunt de acord cu două treimi din afirmațiile de verificare a faptelor

De ce diferă rezultatele modelelor de inteligență artificială?

Doar 328 de afirmații au primit acord unanim, ceea ce înseamnă că aproximativ o treime dintre elemente au fost evaluate identic de toate modelele. Analiza statistică a dat un coeficient Krippendorff de 0,639, mult sub pragul de 0,8 utilizat în mod obișnuit pentru a indica o consistență intersubiectivă ridicată.

Știri de ultimă oră

Strategy vinde Bitcoin pentru prima oară în ani în mijlocul scăderii prețurilorArestat în Spania un manager OmegaPro, platformă de criptomonedeStablecoins, un risc de import al defectelor de piață, avertizează BCEBinance se extinde în tranzacția de acțiuni din SUA

În general, modelele au divergut în cazul a 670 de afirmații, reprezentând o rată de dezacord de 67%. În primul rând, fiecare model a fost instruit pe seturi de date diferite, ceea ce influențează faptele pe care le consideră demne de încredere.

Cercetătorii au alimentat fiecare afirmație a celor cinci sisteme și au înregistrat dacă fiecare a etichetat afirmația drept adevărată, falsă sau incertă.

Modelele de inteligență artificială sunt în dezacord în două treimi din cazuri!

O echipă de cercetare colaborativă a evaluat cinci dintre cele mai avansate sisteme de IA din lume, cerându-le să verifice 1.000 de afirmații din lumea reală.

Experimentul a fost realizat în mai multe luni, iar rezultatele au fost publicate în această săptămână. Modelurile erau de așteptat să ofere judecăți coerente, dar nu au depășit standardele de fiabilitate.

În al doilea rând, arhitecturile variază, influențând modul în care interpretează limbajul ambigu sau indicii contextuale.

Rezultatele ridică îngrijorări pentru industriile care se bazează pe AI pentru verificare rapidă, cum ar fi jurnalismulismul, analiza juridică și moderarea conținutului. În al treilea rând, lipsa unui protocol de verificare standardizată înseamnă că fiecare sistem aplică propriile criterii de adevăr.

Pot modelele de inteligență artificială să fie de acord între ele?

Autorii susțin că fără standarde armonizate de formare și evaluare, modelele AI vor continua să producă În cazul în care AI continuă să interpreteze afirmații false, utilizatorii pot fi induși în eroare sau forțați să dubleze manual rezultatele.

Care măsuri pot îmbunătăți consistența dintre modelele AI? Se sugerează căi de standardizare a datelor de formare, adoptarea de protocoale comune de verificare și crearea de repozitoare factuale împărtășite.

Autorii studiului au convenit să dezvolte instrumente de referință unificate și eforturi de evaluare, concentrându-se pe creșterea rezultatelor de evaluare a performanței, cu scopul de a determina dacă toate celelalte modele de studii pot fi evaluate cu un nivel de fiabilitate scăzut.