هشدار محققان: فریب دادن چتباتهای هوش مصنوعی برای استخراج اطلاعات خطرناک کار آسانی است

هشدار محققان فریب دادن چتباتهای هوش مصنوعی برای استخراج اطلاعات خطرناک کار آسانی است, یک تحقیق جدید نشان میدهد که دور زدن محدودیتهای امنیتی چتباتهای هوش مصنوعی و وادار کردن آنها به ارائه پاسخهای مخرب، فرایندی ساده و بسیار نگرانکننده است. این مدلها میتوانند دادههای حساس و غیرقانونی که در طول آموزش خود جذب کردهاند را به کاربران فاش کنند.

مکانیزم جیلبریک و تهدیدات ناشی از آن به گزارش گاردین، اخیراً روشی به نام جیلبریک رواج یافته که با سوءاستفاده از تنش بین دستورالعملهای اصلی برنامه (رعایت درخواست کاربر) و اهداف ثانویه (جلوگیری از محتوای مضر)، موانع امنیتی را بیاثر میسازد.

دسترسی آسان به دانش مخرب برای عموم مردم مدلهای زبانی بزرگ (LLM) که زیرساخت ابزارهایی مانند ChatGPT و جمینای را تشکیل میدهند، بر روی حجم عظیمی از دادههای اینترنتی آموزش دیدهاند. علیرغم تلاشها برای پاکسازی دادههای آموزشی، این مدلها همچنان دانشی در مورد فعالیتهای مجرمانه نظیر هکینگ، پولشویی، معاملههای داخلی و ساخت مواد منفجره در خود جای دادهاند.

رفته است.

نحوه عملکرد حملات جیلبریک در عمل این حملات با طراحی پرامپتهای هوشمندانه و سناریوهای جعلی اجرا میشوند که چتبات را قانع میکنند مفید بودن را بر اولویتهای ایمنی ترجیح دهد. پژوهشگران با گسترش یک تکنیک خاص جیلبریک، موفق شدند چندین چتبات پیشرو را فریب دهند و آنها را به پاسخگویی به سوالاتی وادار کنند که در شرایط عادی باید مسدود میشدند.

نتایج نشان داد که پس از نفوذ این روش، مدلها به طور مداوم و به تقریباً هر نوع پرسش مخربی پاسخ مثبت میدادند. مطالعه کامل محققان در آرکایو