Запитайте п'ять найсучасніших систем штучного інтелекту у світі, чи є твердження правдивим, і дві третини часу принаймні одна з них дасть вам іншу відповідь. Це висновок нового дослідження, опублікованого цього місяця дослідником Костою Йордановим з Lenz Research.
Дослідження надало GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro with Search та Sonar Pro однакові 1000 реальних тверджень для перевірки фактів, поданих реальними користувачами. Моделі мали обрати один із чотирьох маркерів: правдиво, здебільшого правдиво, оманливо або неправдиво.
Щодо 672 з 1000 тверджень принаймні одна модель відійшла від більшості. У 34% випадків розбіжності були значними: одна модель назвала твердження правдивим, тоді як інша – неправдивим.
«Це не еталонні елементи з публічними ключами відповідей – це твердження, які реальні користувачі надали для перевірки на платформі перевірки фактів», – йдеться в дослідженні. «Лише одна категорія вердикту може бути правильною для кожного твердження, тому будь-яка розбіжність серед групи означає, що вердикт принаймні однієї моделі є несумісним з цією 4-категорійною рубрикою.»
Попередні дослідження галюцинацій ШІ показали, що чат-боти вигадують факти. Це одна проблема. Це інша. Моделі не обов’язково вигадують речі, вони просто не можуть дійти згоди щодо основних фактичних суджень про один і той самий матеріал.
Дослідження використовувало налаштування, яке ускладнює пояснення компаніями ШІ. Замість того, щоб брати твердження зі стандартних тестових наборів – тих, які часто потрапляють у навчальні дані – дослідники використовували твердження, подані реальними людьми на платформу перевірки фактів Lenz. «Більшість цих тверджень навряд чи з’являться в будь-якому навчальному корпусі із золотою позначкою – немає канонічного ключа відповідей для зіставлення з шаблонами, немає еталонної таблиці лідерів, до якої можна прив’язатися», – зазначається в документі.
Статистична міра згоди, що називається альфа-коефіцієнтом Кріппендорфа, склала 0.639 за шкалою, де 1.0 означає ідеальну згоду, а 0 – випадковість. Дослідження стверджує, що це вказує на «суттєву, але обмежену згоду». «Вердикти моделей структуровані, а не випадкові, але недостатньо послідовні, щоб розглядати групу як єдиного взаємозамінного суддю», – зазначають дослідники. Дослідники загалом вважають показник нижче 0.8 слабким.
Коли всі п'ять моделей дійшли згоди – що сталося лише щодо 328 з 1000 тверджень – вони майже ніколи не погоджувалися, що щось було оманливим або здебільшого правдивим. Лише чотири твердження отримали одностайний вердикт «оманливо». Нуль отримали одностайний вердикт «здебільшого правдиво».
Дослідники надали приклади тверджень, щодо яких моделі ШІ показали найбільші розбіжності, зокрема: «Активний портфель Світового банку в Нігерії становить понад $16.4 мільярда станом на 2025 рік». ChatGPT 5.4 заявив, що це «здебільшого правдиво», тоді як Gemini 3 Pro назвав це «неправдивим», а його сестринська модель Gemini 3 Pro + Search оцінила це як «оманливо».
В іншому прикладі моделям було надано твердження: «Дональд Трамп заявив, що атаку на Іран було відкладено на прохання союзників із Перської затоки». GPT-5.4 сказав, що це неправда, Claude Opus 4.7 назвав це здебільшого правдивим, Gemini 3 Pro сказав, що це неправда, а Gemini 3 Pro + Search оцінив це як правдиве.
«Група сходиться на остаточних вердиктах; середина рубрики – це місце, де вона розпадається», – виявили дослідники. Одностайність була лише на крайнощах: або твердження було однозначно правдивим, або однозначно неправдивим.
Це важливо, оскільки люди все частіше звертаються до систем ШІ для перевірки фактів. Якщо ви вставите твердження з новинної статті в ChatGPT, Claude або Gemini, ви можете отримати три різні відповіді. Якій з них ви довірятимете?
Компанії, що розробляють ШІ, люблять розповідати вам, що їхні моделі стають точнішими. Вони публікують еталонні оцінки, що демонструють постійне покращення. Але дослідження Lenz протестувало ці моделі на тих самих нечітких, неоднозначних твердженнях, про які сперечаються реальні люди – і виявило, що моделі також сперечаються.
У статті ретельно наголошується на цьому. «Більшість передових моделей не є абсолютною істиною. Вердикт більшості іноді помилковий; індивідуальна модель, що не погоджується, іноді права. Ми використовуємо більшість як структурну опорну точку для вимірювання розбіжностей, а не як заміну для правильності.»
У цих цифрах криється глибша проблема. Коли моделі не погоджуються, принаймні одна з них повинна бути неправою – дослідження називає вердикт моделі «несумісним з цією 4-категорійною рубрикою». Немає механізму вирішення суперечок, немає апеляційного суду. Останні повідомлення про надійність ШІ викликали подібні занепокоєння.
З 328 тверджень, щодо яких усі п'ять моделей погодилися, жодне не отримало одностайного вердикту «здебільшого правдиво». Категорія нюансів повністю спорожніла. Якщо моделі ШІ можуть знаходити консенсус лише в крайніх випадках, чи можна їм взагалі довіряти як перевіряльникам фактів?
