محركات البحث بالذكاء الاصطناعي تفشل في إنتاج اقتباسات دقيقة في أكثر من 60% من الاختبارات حسب TOW
وفقًا لدراسة جديدة لمركز Tow، فشلت محركات البحث بالذكاء الاصطناعي في إنتاج اقتباسات دقيقة في أكثر من 60% من الاختبارات
وعلى مدار العام الماضي 2024، تعرضت روبوتات الدردشة التي تعمل بالذكاء الاصطناعي لانتقادات واسعة النطاق بسبب مدى ضعفها في الاستشهاد بناشري الأخبار، ومدى قلة حركة المرور التي تقودها إلى الناشرين الذين تستشهد بهم بشكل صحيح.
ChatGPT في قلب الانتقادات:
كان ChatGPT غالبًا في قلب هذه الانتقادات. ففي الصيف الماضي، تم ذكر أن ChatGPT غالبًا ما يهلوس بعناوين URL مزيفة لمواقع الأخبار، حتى لمقالات من شركاء النشر في OpenAI. واستمر البحث في إظهار أن مشكلات الاستشهاد هذه لا تقتصر على ChatGPT، بل إنها في الواقع مزمنة في جميع أنحاء صناعة الذكاء الاصطناعي.
وفي السادس من مارس، أضافت كلوديا جازوينسكا وأيسفاريا شاندراسيكار، الباحثتان في مركز تو TOW للصحافة الرقمية بجامعة كولومبيا، أرقامًا صارمة جديدة إلى هذه الانتقادات، وهي مدمرة للغاية.
وفي دراستهما "بحث الذكاء الاصطناعي لديه مشكلة في الاستشهاد"، أجريا 200 اختبار على ثمانية محركات بحث مختلفة للذكاء الاصطناعي: ChatGPT Search وPerplexity وPerplexity Pro وGemini وDeepSeek Search وGrok-2 Search وGrok-3 Search وCopilot.
في كل استعلام اختباري، قدم محرك البحث اقتباسًا من مقال، ثم طلب من روبوت المحادثة الرد بعنوان المقال وتاريخ النشر واسم النشر وعنوان URL. وفي جميع استعلامات الاختبار البالغ عددها 1600، فشلت محركات البحث في استرداد المعلومات الصحيحة في أكثر من 60% من المرات.
كان معدل الفشل في Perplexity، الذي يروج لنفسه كأداة للبحث، هو الأقل، حيث أجاب بشكل غير صحيح بنسبة 37% من المرات. وفي الوقت نفسه، كان معدل الفشل في Grok-3 Search هو الأعلى بنسبة 94%. وكان برنامج الدردشة الآلي، المتاح لمشتركي X Premium+، حتى وقت قريب يكلف 40 دولارًا شهريًا. ومع ذلك، تمكن من تسجيل نتيجة أسوأ من Grok-2، النسخة المجانية من نفس الأداة، في اختباراتهم.
مشاكل أخرى:
مشكلة أخرى حددها جازوينسكا وأيسفاريا شاندرا سيكارهي مدى ثقة محركات البحث هذه في الخطأ. في حين تم تصميم بعض برامج الدردشة الآلية للاعتراف عندما لا تعرف إجابة، فإن العديد من محركات البحث الذكية الأكثر شهرة في السوق تميل نحو الثقة العمياء في لغة الاستجابة الخاصة بها. يمكن أن يجعل هذا من الصعب على المستخدمين تحديد متى يجب أن يكونوا متشككين في دقة الاستجابة.
فعلى سبيل المثال، عبر 134 اقتباسًا غير صحيح قدمه ChatGPT في اختباراته، استخدم برنامج الدردشة الآلي لغة التحوط فقط في 15 من تلك الاستجابات. بينما كان Copilot هو الاستثناء الوحيد، لأنه رفض الإجابة على غالبية الأسئلة التي طُرحت عليه.
كانت عناوين URL المعطلة مستمرة أيضًا في اختبارات جازوينسكا وأيسفاريا شاندرا سيكارهي، على الرغم من أن المشكلة كانت تختلف كثيرًا من محرك بحث إلى آخر. حيث كان Gemini و Grok 3 أسوأ الجناة، باعتبارهما برنامجي الدردشة الآليين الوحيدين اللذين قدما روابط ملفقة أكثر من الروابط الصحيحة عبر 200 اختبار. على سبيل المثال، أشار Grok 3 للمستخدمين إلى صفحات خطأ 404 154 مرة.
فشل محركات البحث بالذكاء الاصطناعي في توجيه حركة المرور إلى ناشري الأخبار:
يأتي تقرير مركز Tow في الوقت الذي يتم فيه إيلاء اهتمام متزايد لفشل محركات البحث بالذكاء الاصطناعي في توجيه حركة المرور إلى ناشري الأخبار. فقد وجدت دراسة حديثة أجرتها TollBit، وهي شركة ناشئة تبيع أدوات الناشرين الرقميين لتحقيق الدخل من الكشط بواسطة شركات الذكاء الاصطناعي، أن "برامج الدردشة الآلية في المتوسط تدفع حركة المرور المرجعية بمعدل أقل بنسبة 96٪ من بحث Google التقليدي".
في الأسبوع الماضي، نشر Generative AI in the Newsroom، وهو مشروع من جامعة نورث وسترن، أول سلسلة من المقالات التي تحلل بيانات Comscore من برامج الدردشة الآلية بالذكاء الاصطناعي. وفي أول تحليل لها لبيانات ChatGPT و Perplexity، والتي غطت خمسة أشهر في عام 2024، تلقت المواقع في فئة ناشري الأخبار 3.2٪ فقط من حركة المرور المفلترة لـ ChatGPT و 7.4٪ من حركة المرور المفلترة لـ Perplexity.
الخلاصة:
إن مشكلة الاستشهادات في بحث الذكاء الاصطناعي هي سبب آخر للتشكك في بحث الذكاء الاصطناعي كمصدر مزدهر لحركة المرور المرجعية. وما لم تتمكن شركات الذكاء الاصطناعي أولاً من ضمان إنتاج محركات البحث الخاصة بها لاستشهادات دقيقة باستمرار لقصص الناشرين الإخباريين، فلا يوجد سبب يذكر للاعتقاد بأن محركات البحث هذه ستكون مصادر مرجعية قابلة للتطبيق، أو بديلاً مماثلاً للبحث التقليدي.
ما هو مركز Tow؟
- الاسم الكامل: Tow Center for Digital Journalism.
- الموقع: يقع ضمن كلية الدراسات العليا للصحافة في جامعة كولومبيا، نيويورك، الولايات المتحدة.
- تاريخ التأسيس: تأسس في عام 2010 بقيادة إميلي بيل، التي كانت المديرة الأولى له.
- الهدف:
- يهدف إلى تطوير الصحافة الرقمية من خلال البحث والتدريب.
- يزود الصحفيين بالمهارات والمعرفة اللازمة لقيادة مستقبل الصحافة في عصر التكنولوجيا.
- يعمل كمركز للبحث والتطوير لمهنة الصحافة ككل.
- الأنشطة:
- يركز على دراسة كيفية تأثير التكنولوجيا على الصحافة (الممارسة والاستهلاك).
- ينشر تقارير بحثية وتحقيقات صحفية عبر Columbia Journalism Review.
- ينظم فعاليات وورش عمل لنشر نتائج الأبحاث وتطبيقها في غرف الأخبار والتعليم.
- يقدم زمالات للصحفيين والأكاديميين والتقنيين لتطوير مشاريع مبتكرة.
- مجالات البحث: تشمل التغيرات الاقتصادية والثقافية في الصحافة الرقمية، تأثير منصات مثل Google وMeta، ومواضيع مثل "الأخبار المزيفة" أو "الشبكات الإخبارية المحلية المدعومة سياسيًا".
- الأهمية: يستفيد من موقعه في نيويورك للربط بين التكنولوجيا والصحافة، مستغلاً وجود جامعات مرموقة وثقافة صحفية قوية.
المراجع: موقع https://www.niemanlab.org ومواقع أخرى بتصرف.
إذا أعجبك المقال شاركه لطفاً مع أصدقائك، وإن كان هناك ملاحظات أو مواضيع ترغب منا الكتابة عنها اكتب لنا في العليقات.
أنصح بقراءة: