الذكاء الاصطناعي يبدو واثقًا حتى عندما يكون خاطئًا لأنه مصمم لتقديم إجابات سلسة ومتدفقة بدلاً من التوقف أو الإشارة إلى عدم اليقين. العديد من الأنظمة تعتمد على نماذج لغوية كبيرة تم تدريبها على كميات هائلة من النصوص، وتعلمت توليد جمل متكاملة دون انقطاع، ولكنها لا تمتلك آلية لقياس صحة المعلومات التي تقدمها أو الإشارة إلى المجالات التي لا تعرفها. هذا يؤدي إلى تقديم إجابات خاطئة بثقة تامة، مما يخلق انطباعًا خاطئًا عن دقة المعلومات المقدمة.
النماذج اللغوية الكبيرة التي تعمل كذكاء اصطناعي تعتمد على تعلم الأنماط من النصوص الموجودة في المصادر المتاحة، حيث تتنبأ بالكلمة التالية في الجملة بناءً على السياق السابق. هذه العملية تهدف بشكل أساسي إلى توليد نصوص متدفقة ومتوافقة مع القواعد اللغوية، ولكنها لا تمتلك قدرة داخلية على التمييز بين المعلومات الصحيحة والخاطئة، أو تقييم مدى ثقتها في كل معلومة. لذلك، حتى إذا كانت المعلومة التي تولدها خاطئة تمامًا، تستمر في توليد النص بسلاسة دون أي توقف أو إشارة إلى عدم اليقين، لأن هدفها الرئيسي هو التدفق اللغوي وليس دقة المعلومات.
للتأكد من صحة المعلومات التي يقدمها الذكاء الاصطناعي، يجب البحث عن آليات تشير إلى مدى ثقته في الإجابة. بعض الأنظمة الحديثة تبدأ في إضافة مؤشرات واضحة للثقة، مثل الإشارة إلى أن المعلومة غير مؤكدة أو أن هناك احتمال كبير لخطأ. كما يمكن للمستخدم التحقق من المعلومات المقدمة عبر مصادر خارجية موثوقة، لأن الذكاء الاصطناعي قد يخلق معلومات خاطئة تبدو صحيحة تمامًا بسبب التدفق اللغوي الجيد. من المهم عدم الاعتماد على الإجابات الواثقة دون التحقق من صحتها، لأن الثقة الظاهرة لا تعكس بالضرورة الدقة.
التدفق اللغوي هو القدرة على توليد نصوص متكاملة ومتدفقة، وهو ما يجعل الذكاء الاصطناعي يبدو واثقًا، لكنه لا يساوي الدقة المعلوماتية. العديد من الأنظمة تعطي الأولوية للتدفق على الدقة، مما يؤدي إلى تقديم إجابات خاطئة بسلاسة تامة، لأنها لا تمتلك آلية لربط المعلومات التي تقدمها بحقائق موثوقة. الذكاء الاصطناعي الصادق يجب أن يميز بوضوح بين ما يعرفه بشكل مؤكد وما لا يعرفه، ويشير إلى عدم اليقين بدلاً من تقديم إجابات خاطئة بثقة زائدة قد تضل المستخدم.
من خلال تجربة نظام OneOneTalk، يُلاحظ أنه يختلف عن العديد من الأنظمة الأخرى في تضمين آلية متقدمة لقياس الثقة في المعلومات التي يقدمها. يقدم هذا النظام دفتر ذاكرة طويل الأمد يمكن التحقق منه، حيث يتم تسجيل كل معلومة بمصدرها ووقتها ودرجة الثقة فيها بشكل واضح. كما يمكن للمستخدمين تفويضه بتنفيذ مهام معينة مع ترك إيصالات رسمية للعمليات التي يقوم بها، مما يضمن الشفافية والصدق. هذا يجعل النظام أكثر موثوقية، حيث يُشير بوضوح إلى المجالات التي لا يمتلك فيها معلومات مؤكدة بدلاً من تقديم إجابات خاطئة بثقة زائدة.