پژوهش پردو: چت‌بات ChatGPT تنها در ۵۲ درصد سوالات برنامه‌نویسی جواب صحیح داد
تیمی از محققان علوم کامپیو‌تر در دانشگاه پردو دریافتند که چت‌بات هوش مصنوعی محبوب ChatGPT در پاسخ به سوالات برنامه‌نویسی خطا‌های زیادی دارد و پاسخ‌های نادرست فرا‌وانی می‌دهد.
این گروه در مقاله‌ای که بخشی از مجموعه مقالات کنفرانس CHI در مورد عوامل انسانی در سیستم‌های محاسباتی منتشر شده، توضیح داده‌اند که چگونه سوالات را از وب‌سایت استخراج کرده و به ChatGPT داده و سپس دقت پاسخ‌ها را اندازه‌گیری کرده‌اند.
نتایج این تحقیق در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI ۲۰۲۴) که از ۱۱ تا ۱۶ مه برگزار شد، ارائه گردید.
دانشمندان دقت ChatGPT در پاسخ به سوالات برنامه‌نویسی را بررسی کردند
چت‌بات هوش مصنوعی ChatGPT و سایر مدل‌های زبانی بزرگ اخیرا تحت نظر قرار گرفته‌اند. از آنجا که این برنامه‌ها در دسترس عموم قرار گرفته‌اند، محبوبیت زیادی یافته‌اند. اما متأسفانه، در کنار اطلاعات مفید موجود در بسیاری از پاسخ‌ها، حجم زیادی از نادرستی‌ها نیز وجود دارد. بدتر از آن، همیشه مشخص نیست که این برنامه‌ها چه زمانی پاسخ‌های نادرست می‌دهند.
در این مطالعه جدید، تیم تحقیقاتی دانشگاه پردو اشاره کرد که تعداد زیادی از دانشجویان برنامه‌نویسی از مدل‌های زبانی بزرگ، نه تنها برای کمک به نوشتن کد در تکالیف، بلکه برای پاسخ به سوالات مرتبط با برنامه‌نویسی استفاده می‌کنند.
محققان ۵۱۷ سوال را بررسی کردند و مشاهده کردند که ChatGPT چند بار پاسخ صحیح می‌دهد. متأسفانه دقت این چت‌بات تنها در ۵۲ درصد موارد گزارش شده است. بررسی‌های مربوط به پاسخ‌های چت‌بات‌های هوش مصنوعی همچنان ادامه دارد.
محققان از سوالاتی استفاده کردند که به‌صورت رایگان در وب‌سایت در دسترس است. این وب‌سایت برای کمک به برنامه‌نویسان جهت یادگیری بیشتر از طریق تعامل با دیگران ایجاد شده است.
