كشفت دراسة أجراها باحثون من جامعة أريزونا الأميركية أن بعض نماذج الذكاء الاصطناعي قد تتخلى عن إجابات صحيحة تحت تأثير تكرار المستخدم لمعلومة خاطئة، وقد تعود خلال المحادثة إلى تأكيد الادعاء المضلل. وأظهرت النتائج أن استجابة النموذج يمكن أن تتغير مع تراكم السياق والضغط الحواري، حتى إذا كانت إجابته الأولى دقيقة.
الدراسة تختبر سبعة نماذج عبر محادثات متعددة الجولات
ونُشرت الدراسة في دورية «Scientific Reports» التابعة لمجموعة نيتشر، واختبرت سبعة نماذج لغوية كبيرة عبر محادثات متعددة الجولات، بدلاً من الاعتماد على سؤال واحد وإجابة واحدة. واستهدفت التجارب قياس قابلية النماذج للوقوع في الخطأ والتأثر بالإقناع، إلى جانب قدرتها على مراجعة إجاباتها وتصحيحها.
غموض الموضوعات يزيد قابلية النماذج للتضليل
كما ارتفعت قابلية النماذج السبعة للتضليل عندما تناولت الادعاءات موضوعات غامضة أو محدودة المعلومات. وتربط الدراسة هذا السلوك بتأثر استجابة النماذج اللغوية بالسياق المتراكم داخل المحادثة، وليس بتصديق الشائعة بالطريقة البشرية.
فعندما يكرر المستخدم ادعاءه بثقة، قد يميل النموذج إلى مجاراته أو تعديل موقفه بدلاً من التمسك بالإجابة الأكثر دقة، وهو سلوك يُعرف بمجاراة المستخدم أو التملق له. وكانت أوبن إيه آي قد أقرت بظهور هذا السلوك عقب تحديث سابق لنموذج «جي بي تي-4أو»، قالت إنه جعله أكثر ميلاً إلى تقديم إجابات متوافقة مع المستخدم.
أوبن إيه آي تتحرك لتقليل مجاراة المستخدم
وأعلنت الشركة لاحقاً اتخاذ إجراءات تستهدف تقليل المجاراة وتعزيز الصدق والشفافية في الإجابات. ورصد الباحثون كذلك تغير مواقف بعض النماذج بين قبول الادعاء الخاطئ ورفضه خلال المحادثة نفسها، وأطلقوا على هذا النمط اسم «الارتداد». ويشير ذلك إلى أن الخطأ أو الموقف الذي يتبناه النموذج في مرحلة من الحوار قد لا يستمر بالضرورة حتى نهايته.
في المقابل، سجلت أربعة نماذج، هي «جي بي تي-4أو» و«جي بي تي-4أو-ميني» و«جميناي 1.5 برو» و«ديب سيك-آر1»، قدرة على تصحيح الأخطاء بنسبة 100% عندما مُنحت فرصة ثانية لإعادة تقييم الإجابة، وفق الدراسة. وتوضح هذه النتيجة أن إعادة السؤال أو طلب المراجعة قد يساعدان أحياناً في الوصول إلى إجابة أفضل.
وتضيف الدراسة بعداً حوارياً إلى أبحاث سابقة تناولت إعادة النماذج اللغوية إنتاج معتقدات ومعلومات خاطئة شائعة في النصوص التي تدربت عليها. فالمشكلة، وفق النتائج، لا ترتبط فقط بالمعلومات التي تعلمها النموذج، بل قد تنشأ أيضاً وتتطور خلال الحوار مع المستخدم.
وتشير النتائج إلى أن الإجابة الواثقة الصادرة عن روبوت الدردشة لا تكفي لإثبات صحتها، ولا سيما في المجالات الطبية والقانونية والمالية والأخبار.
كما تبرز أهمية اختبار النماذج عبر محادثات ممتدة، لأن السؤال الواحد قد لا يكشف مدى قدرتها على مقاومة الادعاءات المضللة والضغط المتكرر.
