Tanyakan kepada lima sistem AI tercanggih di dunia apakah suatu pernyataan itu benar, dan dua pertiga waktu, setidaknya satu akan memberi Anda jawaban yang berbeda. Itulah temuan studi baru yang diterbitkan bulan ini oleh peneliti Kosta Jordanov di Lenz Research.
Studi ini memberikan GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro dengan Search, dan Sonar Pro 1.000 klaim pengecekan fakta dunia nyata yang sama yang diajukan oleh pengguna sebenarnya. Model-model tersebut harus memilih satu dari empat label: benar, sebagian besar benar, menyesatkan, atau salah.
Pada 672 dari 1.000 klaim, setidaknya satu model menyimpang dari mayoritas. Dalam 34% kasus, ketidaksepakatan itu parah: satu model menyatakan klaim itu benar sementara yang lain menyebutnya salah.
“Ini bukan item tolok ukur dengan kunci jawaban publik—ini adalah klaim yang diajukan pengguna sebenarnya untuk verifikasi ke platform pengecekan fakta,” bunyi studi tersebut. “Hanya satu kategori putusan yang bisa benar per klaim, sehingga setiap ketidaksepakatan di antara panel berarti putusan setidaknya satu model tidak konsisten labelnya di bawah rubrik 4 kategori ini.”
Studi sebelumnya tentang halusinasi AI telah menunjukkan bahwa chatbot mengarang fakta. Itu satu masalah. Ini adalah masalah yang berbeda. Model-model tersebut tidak selalu mengarang-ngarang, mereka hanya tidak bisa sepakat pada penilaian faktual dasar tentang materi yang sama.
Penelitian ini menggunakan pengaturan yang mempersulit perusahaan AI untuk mengelak. Alih-alih mengambil klaim dari set pengujian standar—jenis yang sering bocor ke data pelatihan—para peneliti menggunakan klaim yang diajukan oleh orang sungguhan ke platform pengecekan fakta Lenz. “Sebagian besar klaim ini tidak mungkin muncul di korpus pelatihan mana pun dengan label emas yang melekat—tidak ada kunci jawaban kanonis untuk dicocokkan polanya, tidak ada papan peringkat tolok ukur untuk dijadikan patokan,” catat makalah tersebut.
Ukuran statistik kesepakatan, yang disebut Krippendorff’s alpha, berada pada 0,639 pada skala di mana 1,0 berarti kesepakatan sempurna dan 0 berarti peluang acak. Studi ini mengatakan bahwa ini menunjukkan “kesepakatan yang signifikan namun terbatas.” “Putusan model terstruktur daripada acak, namun tidak cukup konsisten untuk memperlakukan panel sebagai satu hakim yang dapat dipertukarkan,” catat para peneliti. Para peneliti umumnya menganggap apa pun di bawah 0,8 sebagai lemah.
Ketika kelima model sepakat—yang terjadi hanya pada 328 dari 1.000 klaim—mereka hampir tidak pernah sepakat bahwa sesuatu itu menyesatkan atau sebagian besar benar. Hanya empat klaim yang menerima putusan “menyesatkan” yang bulat. Nol klaim menerima putusan “sebagian besar benar” yang bulat.
Para peneliti memberikan contoh klaim di mana model AI menunjukkan divergensi terbesar, termasuk "Portofolio aktif Bank Dunia di Nigeria mencapai lebih dari $16,4 miliar pada tahun 2025." ChatGPT 5.4 mengatakan itu "sebagian besar benar" sementara Gemini 3 Pro menyebutnya "salah" dan model saudaranya Gemini 3 Pro + Search menilai itu "menyesatkan."
Dalam contoh lain, model-model tersebut diberi klaim: "Donald Trump mengatakan bahwa serangan terhadap Iran ditunda atas permintaan Sekutu Teluk." GPT-5.4 mengatakan itu salah, Claude Opus 4.7 menyebutnya sebagian besar benar, Gemini 3 Pro mengatakan salah, dan Gemini 3 Pro + Search menilai itu benar.
“Panel bertemu pada putusan definitif; bagian tengah rubrik adalah tempat ia terpecah,” para peneliti menemukan. Kesepakatan bulat hanya terjadi pada ekstrem: klaim itu benar mutlak atau salah mutlak.
Ini penting karena orang-orang semakin beralih ke sistem AI untuk pengecekan fakta. Jika Anda menempelkan klaim dari artikel berita ke ChatGPT, Claude, atau Gemini, Anda mungkin mendapatkan tiga jawaban berbeda. Mana yang Anda percayai?
Perusahaan AI senang memberi tahu Anda bahwa model mereka semakin akurat. Mereka menerbitkan skor tolok ukur yang menunjukkan peningkatan yang stabil. Namun studi Lenz menguji model-model ini pada jenis klaim yang rumit dan ambigu yang sebenarnya diperdebatkan oleh manusia—dan menemukan bahwa model-model tersebut juga berdebat.
Makalah ini berhati-hati dalam menunjukkan hal ini. “Mayoritas model terdepan bukanlah kebenaran mutlak. Putusan mayoritas terkadang salah; model individual yang berbeda pendapat terkadang benar. Kami menggunakan mayoritas sebagai titik referensi struktural untuk mengukur ketidaksepakatan, bukan sebagai pengganti kebenaran.”
Ada masalah yang lebih dalam terkubur dalam angka-angka. Ketika model tidak sepakat, setidaknya salah satunya pasti salah—studi ini menyebut putusan model “tidak konsisten labelnya di bawah rubrik 4 kategori ini.” Tidak ada mekanisme pemecah kebuntuan, tidak ada pengadilan banding. Pelaporan baru-baru ini tentang keandalan AI telah menimbulkan kekhawatiran serupa.
Pada 328 klaim di mana kelima model sepakat, nol klaim menerima putusan “sebagian besar benar” yang bulat. Kategori nuansa kosong sepenuhnya. Jika model AI hanya dapat menemukan konsensus pada ekstrem, dapatkah mereka dipercaya sebagai pemeriksa fakta sama sekali?
