به گزارش خبرگزاری ایمنا و به نقل از نیچر، مدل o3، یکی از محصولات هوش مصنوعی شرکت OpenAI، در رتبهبندی تازهای که توسط پلتفرم SciArena انجام شده، به عنوان دقیقترین مدل در پاسخگویی به پرسشهای علمی شناخته شد. این پلتفرم که توسط مؤسسه Allen Institute for AI (Ai2) در سیاتل آمریکا طراحی شده، ۲۳ مدل زبانی بزرگ (LLM) را بر اساس پاسخهای آنها به سوالات پژوهشگران ارزیابی کرده است.
در این رقابت، بیش از ۱۳ هزار رأی از سوی ۱۰۲ پژوهشگر درباره کیفیت پاسخهای مدلها به سوالات تخصصی در حوزههای علوم پایه، مهندسی، علوم انسانی و سلامت جمعآوری شد که در نهایت، مدل o3 صدرنشین این جدول شد. مدل DeepSeek-R1 از چین، رتبه دوم در بخش علوم طبیعی و رتبه چهارم در مهندسی را به دست آورد. مدل Gemini-2.5-Pro گوگل نیز در جایگاه سوم علوم طبیعی و پنجم مهندسی و سلامت قرار گرفت.
آرمان کوهان، دانشمند پژوهشی در Ai2، درباره علت برتری o3 گفت: «این مدل تمایل دارد پاسخهایی با جزئیات دقیق ارائه دهد و بهخوبی منابع علمی را ذکر میکند. همین ویژگیها موجب شده که جامعه علمی اعتماد بیشتری به آن داشته باشد.» با این حال، وی تأکید کرد که تحلیل دقیق تفاوت عملکرد بین مدلها دشوار است، زیرا بیشتر آنها ماهیت اختصاصی دارند و اطلاعات کافی از دادههای آموزشی یا بهینهسازیشدهشان در دسترس نیست.
پلتفرم SciArena یکی از نخستین سامانههایی است که عملکرد مدلهای هوش مصنوعی را در پاسخ به سوالات علمی با استفاده از بازخورد جمعی کاربران ارزیابی میکند. در این سامانه، کاربران سوالات علمی مطرح میکنند و پاسخهایی از دو مدل مختلف دریافت کرده و سپس به بهترین پاسخ رأی میدهند. تنها رأی کاربران تأییدشده در رتبهبندی نهایی لحاظ میشود، به گفته پژوهشگران، این ابزار میتواند به محققان در یافتن سریعتر منابع و اطلاعات علمی مرتبط کمک کند و راهی تازه برای مرور ادبیات پژوهشی فراهم آورد.
نظر شما