متا مدل 2 را رونمایی کرد؛ برتر از و در پردازش متون طولانی

شرکت متا چند روز پیش ابزار هوش مصنوعی ویرایش تصویر برای اینستاگرام و نسل جدید عینک‌های هوشمند خود را معرفی کرد. در کنار این رونمایی‌ها، محققان این شرکت به طور بی‌صدا مقاله‌ای منتشر کردند که به بررسی مدل 2 می‌پردازد. این مدل در پاسخ‌دهی به پرسش‌های طولانی مهارت دارد و عملکرد بهتری نسبت به بسیاری از رقبا از خود نشان می‌دهد.

2 نسخه‌ای از مدل 2 است که در فصل تابستان رونمایی شده بود. این مدل قادر است از منابع داده‌ای متنوع بهره ببرد و وظایفی نظیر کد‌نویسی، ریاضیات، درک زبان، استدلال و محاوره را انجام دهد. با این حال، تمرکز اصلی آموزش این مدل بر روی متون طولانی بوده و به گونه‌ای پیکر‌بندی شده که بتواند دنباله‌های گسترده‌تری از اطلاعات را مدیریت کند. با این قابلیت، 2 در مقایسه با مدل‌هایی مانند و 2 که محدودیت در دریافت ورودی دارند، عملکرد بهتری دارد.

متا چگونه مدل 2 را ساخته است؟

پژوهشگران متا برای ساخت این مدل از دو نسخه 2 با ۷ تا ۷۰ می‌لیارد پارام‌تر استفاده کرده‌اند. سپس ۴۰۰ می‌لیارد توکن داده اضافی که شامل متون طولانی‌تر از مجموعه داده‌های اصلی 2 بود، به این ترکیب افزوده شد. محققان همچنین معماری 2 را اندک دستکاری کردند و روش کدگذاری موقعیت هر توکن در دنباله را تغییر دادند. آن‌ها از تکنیک بهره بردند که هر توکن را به نقطه‌ای در یک گراف سه‌بعدی متصل می‌کند تا وضعیت آن نسبت به سایر توکن‌ها مشخص شود. این کار باعث می‌شود مدل پاسخ‌های دقیق‌تر و مفید‌تری ارائه دهد و در عین حال حافظه کمتری مصرف کند.

متا ادعا می‌کند 2 می‌تواند به پرسش‌هایی با حداکثر ۲۰۰ هزار نویسه، معادل یک کتاب ۴۰ صفحه‌ای، پاسخ‌های باکیفیت دهد. در مقاله منتشرشده که از طریق لینک مربوطه قابل دسترس است، نمونه‌هایی از پاسخ‌های این مدل در حوزه‌های تاریخ، علم، ادبیات و ورزش ارائه شده است. دانشمندان معتقدند این مدل گامی در جهت ساخت مدل‌های هوش مصنوعی جامع و همه‌منظوره است که بتوانند به نیاز‌های متنوع کاربران پاسخ دهند.