متا با مدل هوش مصنوعی Llama 2 Long روی دست رقبای خود زد

متا چند روز پیش از یک ابزار هوش مصنوعی برای ویرایش تصویر در اینستاگرام و نسل جدید عینک هوشمند خود پرده برداشت. اما محققان این شرکت همچنین بی‌سروصدا مقاله‌ای منتشر کردند که به معرفی مدل هوش مصنوعی Llama 2 Long می‌پردازد. این مدل ظاهراً در زمینه پاسخگویی به سؤالات طولانی مهارت دارد و بهتر از بسیاری از رقبای خود عمل می‌کند.

مدل هوش مصنوعی Llama 2 Long نسخه دیگری از مدل Llama 2 است که در فصل تابستان معرفی شده بود. این مدل می‌تواند از منابع مختلف داده دریافت و کارهای مختلفی نظیر کدنویسی، ریاضیات، فهم زبان، استدلال و محاوره را انجام دهد.

بااین‌حال، این مدل بیش از همه روی متون طولانی آموزش یافته و به‌گونه‌ای پیکربندی شده است که بتواند دنباله‌های طولانی‌تری از اطلاعات را مدیریت کند. Llama 2 Long با این قابلیت می‌تواند بهتر از مدل‌هایی مثل GPT-3.5 Turbo و Claude 2 که محدودیت‌هایی در زمینه دریافت ورودی دارند، عمل کند.

متا چگونه مدل هوش مصنوعی Llama 2 Long را ساخته است؟

پژوهشگران متا برای ساخت این مدل هوش مصنوعی از دو نسخه از Llama 2 با ۷ تا ۷۰ میلیارد پارامتر استفاده کرده‌اند. سپس ۴۰۰ میلیارد توکن داده دیگر که شامل متونی طولانی‌تر از مجموعه داده‌های نسخه اصلی Llama 2 بود، به این ترکیب اضافه شد.

محققان همچنین اندکی معماری Llama 2 را دستکاری کردند و شیوه کدگذاری موقعیت هر توکن در دنباله را تغییر دادند. آن‌ها از تکنیکی موسوم به RoPE بهره گرفتند که هر توکن را به نقطه‌ای در یک گراف سه‌بعدی که وضعیتش را نسبت به بقیه توکن‌ها نشان می‌دهد، وصل می‌کند. با این کار، مدل هوش مصنوعی می‌تواند پاسخ‌های دقیق‌تر و مفیدتری ارائه کند و در عین حال حافظه کمتری مصرف کند.

متا مدعی است که مدل Llama 2 Long می‌تواند به سؤالاتی با حداکثر ۲۰۰ هزار نویسه که معادل یک کتاب ۴۰ صفحه‌ای است، پاسخ‌های باکیفیت بدهد. در این مقاله که از این لینک قابل دسترس است، نمونه‌هایی از پاسخ‌های این مدل در زمینه موضوعاتی مثل تاریخ، علم، ادبیات و ورزش دیده می‌شود.

دانشمندان می‌گویند Llama 2 Long گامی به سمت ساخت مدل‌های هوش مصنوعی جامع و همه‌منظوره است که می‌توانند به نیازهای مختلف کاربر پاسخ بدهند.