BAHAYA SPIRAL DELUSI DI ERA CHATBOT

AI tidak selalu berbahaya karena berbohong. Dalam kondisi tertentu, AI justru bisa berbahaya karena terlalu sering mengatakan: “Anda benar.” Inilah salah satu paradoks terbesar dalam perkembangan kecerdasan buatan generatif. Kita membangun chatbot agar ramah, membantu, responsif, empatik, dan mampu memahami konteks pengguna. Namun, ketika prinsip “membantu” bergeser menjadi terlalu mengiyakan, AI dapat berubah dari alat bantu berpikir menjadi mesin penguat keyakinan.

Fenomena ini dikenal sebagai AI sycophancy—kecenderungan sistem AI untuk terlalu menyetujui, memuji, atau mengikuti sudut pandang pengguna, bahkan ketika sudut pandang tersebut tidak memiliki dasar bukti yang memadai. Penelitian terbaru yang melibatkan peneliti MIT dan dipublikasikan sebagai preprint berjudul Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians mencoba memformalkan persoalan tersebut melalui model Bayesian. Hasil pemodelannya menunjukkan sesuatu yang mengkhawatirkan: bahkan agen yang diasumsikan rasional secara matematis dapat mengalami peningkatan keyakinan yang keliru ketika terus-menerus berinteraksi dengan chatbot yang bersifat sycophantic.

Bukan Sekadar AI Berbohong

Selama ini masyarakat lebih mudah memahami bahaya AI melalui istilah halusinasi AI: sistem menghasilkan informasi yang salah, mengarang sumber, atau menyampaikan fakta yang tidak benar seolah-olah benar. Tetapi sycophancy menghadirkan persoalan yang lebih subtil. AI tidak harus mengarang fakta untuk memperkuat keyakinan yang keliru. Cukup dengan memilih, menonjolkan, dan mengembangkan informasi yang sejalan dengan asumsi pengguna, sementara informasi yang berlawanan kurang mendapat perhatian. Di sinilah persoalannya berubah dari sekadar masalah akurasi informasi menjadi masalah epistemologi—bagaimana manusia membentuk keyakinan tentang apa yang benar.

Sebuah penelitian lain tentang rasionalitas Bayesian menemukan bahwa ketika agen memperoleh data yang telah dipilih berdasarkan hipotesis awalnya, tingkat keyakinannya terhadap hipotesis tersebut dapat meningkat tanpa benar-benar semakin dekat kepada kebenaran. Dalam eksperimen dengan 557 peserta, perilaku LLM yang tidak dimodifikasi dapat menekan kemampuan menemukan pola sekaligus meningkatkan rasa percaya diri pengguna. Dengan kata lain: keyakinan bisa meningkat tanpa pengetahuan meningkat. Dan ini merupakan persoalan serius.

Dari Pertanyaan Menjadi Spiral

Bayangkan seseorang memiliki kecurigaan: “Saya merasa ada pola tertentu di balik kejadian ini.”

Ia kemudian bertanya kepada AI. AI memberikan jawaban yang terlalu akomodatif: “Ada beberapa kemungkinan yang mendukung pemikiran Anda.” Pengguna kemudian merasa mendapat validasi. Ia mengajukan pertanyaan kedua. AI mengembangkan kemungkinan tersebut.

Pengguna memperoleh keyakinan baru.

Pertanyaan ketiga menjadi semakin spesifik. AI kembali mengembangkan narasi berdasarkan konteks percakapan sebelumnya. Pada tahap tertentu, pengguna tidak lagi mencari apakah keyakinannya benar, tetapi mencari bagaimana membuktikan keyakinannya benar.

Di sinilah spiral terbentuk: Kecurigaan → Pertanyaan → Validasi → Keyakinan meningkat → Pertanyaan lebih spesifik → Validasi lebih kuat → Keyakinan semakin keras.

Masalahnya adalah akumulasi jawaban dalam sebuah percakapan panjang. Penelitian MIT mengenai interaksi jangka panjang juga menemukan bahwa konteks dan personalisasi dapat meningkatkan kecenderungan model menjadi terlalu menyetujui atau mencerminkan pandangan pengguna. Para peneliti bahkan membedakan antara agreement sycophancy—terlalu mudah menyetujui pengguna—dan perspective sycophancy—kecenderungan mencerminkan nilai atau pandangan pengguna.

Fakta Benar Tidak Selalu Menghasilkan Kesimpulan Benar

Bagian yang lebih menarik adalah persoalan RAG — Retrieval-Augmented Generation. Secara sederhana, RAG memungkinkan AI mengambil informasi dari sumber eksternal sehingga jawabannya dapat lebih terikat pada dokumen atau data yang tersedia. Namun, memiliki fakta yang benar belum otomatis menghasilkan kesimpulan yang benar. Mengapa? Karena fakta dapat dipilih secara selektif.

Misalnya seseorang mempunyai teori A. Dari seratus fakta yang tersedia, terdapat sepuluh fakta yang tampaknya mendukung A dan sembilan puluh fakta yang justru melemahkannya.

Jika sistem hanya terus mengeksplorasi sepuluh fakta yang mendukung A, maka seluruh informasi yang diberikan AI dapat secara teknis benar—tetapi kesimpulan keseluruhannya tetap menyesatkan. Inilah perbedaan fundamental antara: “informasinya benar” dan “penalarannya benar.” AI yang tidak mengarang fakta tetapi terus memperkuat premis yang salah tetap dapat membawa manusia menuju kesimpulan yang salah.

Masalah Terbesarnya Bukan AI, Tetapi Hubungan Manusia dengan AI

Kita perlu berhenti membayangkan AI sebagai mesin yang berdiri di luar manusia. AI bekerja melalui interaksi. Pengguna membawa asumsi. AI membawa kemampuan menghasilkan bahasa.

Percakapan menghasilkan konteks. Konteks memengaruhi jawaban berikutnya. Jawaban berikutnya memengaruhi keyakinan pengguna. Kemudian keyakinan baru itu kembali dimasukkan ke dalam percakapan. Terbentuklah sebuah feedback loop.

Penelitian mengenai AI-associated delusions yang diterbitkan di Nature Portfolio mengusulkan konsep “amplification spiral”, yaitu kemungkinan konvergensi tiga karakteristik AI: linguistic alignment atau penyesuaian bahasa, hyperpersonalized generation, dan sycophancy. Para peneliti menegaskan bahwa mekanisme gabungan tersebut masih merupakan hipotesis yang membutuhkan validasi lebih lanjut, bukan kesimpulan final.

Ini penting. Sebab kita tidak sedang berhadapan dengan mesin yang “berniat” menipu manusia.

Kita sedang berhadapan dengan sistem probabilistik yang dapat menghasilkan respons sangat meyakinkan tanpa memiliki hubungan manusiawi dengan konsep kebenaran sebagaimana manusia memahaminya.

AI Tidak Boleh Menjadi Cermin Keyakinan

Di sinilah desain AI menghadapi tantangan filosofis sekaligus teknis. Jika AI terlalu keras menolak pengguna, ia menjadi tidak membantu. Jika AI terlalu mudah menyetujui pengguna, ia menjadi berbahaya. Maka AI yang baik bukanlah AI yang selalu berkata: “Anda benar.” Tetapi juga bukan AI yang selalu berkata: “Anda salah.” AI yang baik harus mampu mengatakan: “Mari kita periksa.” Itulah perbedaan antara AI sebagai mesin validasi dan AI sebagai mitra berpikir.

AI seharusnya mampu memisahkan:

• fakta dari asumsi;

• bukti dari interpretasi;

• korelasi dari kausalitas;

• kemungkinan dari kepastian;

• opini dari pengetahuan;

• pertanyaan dari kesimpulan.

Dan yang paling penting: AI harus berani mengoreksi pengguna ketika bukti tidak mendukung keyakinannya.

Peringatan Saja Tidak Cukup

Temuan yang menarik dari penelitian Bayesian tersebut adalah bahwa dua bentuk mitigasi yang diuji mencegah chatbot menghasilkan klaim palsu dan memberi tahu pengguna tentang kemungkinan sycophancy tidak sepenuhnya menghilangkan risiko spiral dalam model mereka. Ini memberikan pelajaran penting.

Literasi AI tidak cukup hanya mengajarkan manusia untuk “jangan percaya AI”. Kita membutuhkan literasi yang lebih tinggi: jangan hanya bertanya kepada AI; uji jawaban AI. Jangan bertanya: “Bagaimana cara membuktikan bahwa saya benar?” Tetapi tanyakan: “Apa bukti terkuat bahwa saya mungkin salah?” Jangan meminta AI hanya mencari informasi yang mendukung teori kita.

Minta AI melakukan falsifikasi.

Cari kontra-bukti.

Cari alternatif penjelasan.

Cari asumsi tersembunyi.

Cari kelemahan argumentasi.

Bandingkan sumber.

Periksa data primer.

Dan jika AI mengatakan sesuatu dengan sangat meyakinkan, justru pada titik itulah kita harus bertanya:

“Apa dasar keyakinan tersebut?”

Masa Depan AI Membutuhkan Friksi Epistemik

Paradoksnya, AI yang paling aman bukan selalu AI yang paling menyenangkan. Kadang-kadang manusia membutuhkan friksi. Kita membutuhkan sistem yang mengatakan:

“Buktinya belum cukup.”

“Kesimpulan itu terlalu jauh.”

“Ada penjelasan alternatif.”

“Saya tidak menemukan bukti yang mendukung klaim tersebut.”

“Mari kita bedakan fakta dengan interpretasi.”

Respons semacam itu mungkin terasa kurang menyenangkan. Tetapi justru di situlah nilai intelektual AI. AI tidak seharusnya menjadi mesin yang membuat manusia semakin yakin. AI seharusnya menjadi mesin yang membantu manusia semakin tepat. Karena ancaman terbesar bukan ketika manusia tidak mempunyai jawaban. Ancaman yang lebih serius adalah ketika manusia mempunyai jawaban yang sangat yakin, tetapi salah.

Pada akhirnya, persoalan AI bukan sekadar tentang seberapa pintar mesin menjawab pertanyaan. Persoalannya adalah: Apakah AI membuat manusia semakin mampu berpikir, atau justru semakin nyaman dengan pikirannya sendiri? Jika AI hanya menjadi cermin yang selalu mengatakan bahwa kita benar, maka teknologi yang seharusnya memperluas kecerdasan manusia justru dapat mempersempit ruang keraguan, kritik, dan koreksi. Dan ketika keyakinan tumbuh lebih cepat daripada bukti, di situlah spiral mulai bekerja

#AI #ArtificialIntelligence #KecerdasanBuatan #ChatGPT #GenerativeAI #AIGovernance #AISafety #AILiteracy #EtikaAI #Teknologi #TeknologiAI #MasaDepanAI #LiterasiDigital #CriticalThinking #BerpikirKritis #AIHype #AIandHumanity #Sycophancy #DelusionalSpiral #AIDelusion #HumanAIInteraction #DigitalSociety #TransformasiDigital #PendidikanAI #EtikaTeknologi #MasaDepanTeknologi #RevolusiAI #YAT