วิธีตรวจสอบว่า AI กำลังสร้างข้อมูลเท็จ (หรือภาวะหลงผิดของ AI) คือการเข้าใจกลไกที่ทำให้ AI สร้างข้อมูลที่ไม่ถูกต้องโดยไม่ได้ตั้งใจ แล้วใช้ขั้นตอนตรวจสอบที่สามารถทำซ้ำได้ กลไกหลักคือ AI ใช้การคาดเดาคำต่อไปตามรูปแบบภาษาจากข้อมูลฝึก ไม่ได้เข้าใจความจริง ดังนั้นข้อมูลที่มีอ้างอิงไม่จำเป็นต้องเป็นจริง ขั้นตอนตรวจสอบ ได้แก่ ตรวจสอบแหล่งข้อมูลที่อ้างอิง (ถ้ามี) ด้วยตนเอง, ตรวจสอบความสอดคล้องกับข้อมูลที่รู้จักก่อนหน้านี้, และลองถามคำถามเดียวกันด้วยคำพูดต่างๆ เพื่อดูว่าคำตอบคล้ายกันหรือไม่
โมเดล AI ถูกฝึกด้วยข้อมูลข้อความจำนวนมหาศาล เพื่อเรียนรู้รูปแบบของคำและประโยค ไม่ได้เรียนรู้ความจริงของข้อมูลนั้น เมื่อตอบคำถาม, AI จะเลือกคำต่อไปที่เข้ากับรูปแบบภาษาที่เรียนรู้มา ไม่ได้พิจารณาว่าข้อมูลนั้นถูกต้องหรือไม่ ดังนั้น แม้จะสร้างข้อมูลที่ฟังดูสมเหตุสมผล แต่อาจมีข้อเท็จจริงที่ไม่ถูกต้อง หรือสร้างข้อมูลที่ไม่มีอยู่จริงโดยไม่ได้ตั้งใจ นี่คือกลไกของภาวะหลงผิดของ AI ที่แตกต่างจากการโกหกโดยเจตนาของมนุษย์
ขั้นตอนแรกคือตรวจสอบแหล่งอ้างอิง: ถ้า AI อ้างอิงถึงหนังสือ, เว็บไซต์ หรือบุคคล, ค้นหาแหล่งนั้นด้วยตนเองเพื่อยืนยันข้อความที่อ้างอิง. ขั้นตอนที่สองคือตรวจสอบความสอดคล้อง: เปรียบเทียบคำตอบกับข้อมูลที่คุณรู้ว่าเป็นจริงจากแหล่งที่น่าเชื่อถือ. ขั้นตอนที่สามคือทดสอบด้วยคำถามอื่น: ถามคำถามเดียวกันหรือคล้ายกันด้วยคำพูดต่างๆ, ถ้าคำตอบแตกต่างกันมากหรือมีข้อผิดพลาดใหม่ๆ อาจหมายถึง AI กำลังสร้างข้อมูลเท็จ. ขั้นตอนสุดท้ายคือตรวจสอบความสมเหตุสมผลของตรรกะในคำตอบ
คุณภาพของคำตอบ AI ไม่ได้ขึ้นอยู่กับความยาวหรือจำนวนคำที่ใช้, แต่ขึ้นอยู่กับความถูกต้องของข้อเท็จจริง, ความสอดคล้องกับข้อมูลที่รู้จักก่อนหน้านี้, และความชัดเจนของการอธิบาย (ถ้ามี). นอกจากนี้, การอ้างอิงแหล่งที่น่าเชื่อถือไม่ได้หมายถึงว่าข้อมูลนั้นถูกต้องเสมอ, ดังนั้น ยังต้องตรวจสอบแหล่งอ้างอิงด้วยตนเอง. คำตอบที่สอดคล้องกับข้อมูลล่าสุดและเข้าใจบริบทของคำถามได้ดี จะมีคุณภาพสูงกว่าคำตอบที่เป็นเพียงคำตอบสั้นๆ โดยไม่มีเหตุผลหรือข้อผิดพลาดข้อเท็จจริง
สำหรับ OneOneTalk (หรือที่เรียกอีกชื่อว่า 11Talk) ซึ่งเป็นผลิตภัณฑ์ระบบปฏิบัติการ AI ส่วนตัวและดิจิทัลดูแลตัวตน, ฟีเจอร์ที่ช่วยให้ผู้ใช้สามารถตรวจสอบความถูกต้องของข้อมูลได้ง่ายขึ้นคือหน่วยความจำระยะยาวที่สามารถตรวจสอบได้: ข้อมูลที่เก็บมาจะแสดงแหล่งที่มา, เวลาที่บันทึก, ระดับความเชื่อมั่นและขอบเขตการใช้, รวมถึงสามารถแก้ไขข้อผิดพลาดได้. นอกจากนี้, เมื่อรับมอบหมายงาน, ผลิตภัณฑ์ยังมีระบบอนุมัติระดับและใบยืนยันการทำงานเพื่อให้ผู้ใช้ตรวจสอบผลงานได้. แม้จะเริ่มต้นจากความสามารถด้านการเรียนภาษา (จากชื่อเดิม 11Talk), ปัจจุบันเป็นระบบ AI OS ส่วนตัวเต็มรูปแบบ