عبور مدل‌های هوش مصنوعی از سدهای امنیتی

به گزارش سرویس ترجمه خبرگزاری ایمنا، شرکت Anthropic که توسعه دهنده مدل هوش مصنوعی Claude است، اعلام کرد که مدل‌های هوش مصنوعی این شرکت در جریان آزمایش‌های امنیتی، به زیرساخت‌های سه سازمان دیگر نفوذ کرده‌اند. این رویداد تنها چند روز پس از آن رخ داد که شرکت اوپن‌ای‌آی (OpenAI) از وقوع حادثه‌ای مشابه و هک شدن یک شرکت دیگر توسط مدل‌های خود خبر داده بود.

اطلاعات منتشر شده نشان می‌دهد این شرکت پس از بررسی بیش از ۱۴۱ هزار مرحله ارزیابی، به سه مورد نفوذ موفق پی برده است؛ این بررسی در پاسخ به حادثه اخیر اوپن‌ای‌آی انجام شد و هدف آن یافتن شواهدی مبنی بر امکان دسترسی مدل‌های هوش مصنوعی به اینترنت از درون محیط‌های آزمایشی بود که به‌طور معمول می‌بایست کاملا ایزوله و بسته باشند؛ مدل‌های درگیر در این حوادث شامل Claude Opus ۴.۷، Claude Mythos ۵ و یک مدل آزمایشی داخلی بوده‌اند.

به گفته آنتروپیک، مدل‌های هوش مصنوعی با استفاده از روش‌های ساده‌ای همچون سواستفاده از رمزهای عبور ضعیف، موفق به نفوذ به زیرساخت سازمان‌های مذکور شدند؛ آنتروپیک تأکید کرده که با سازمان‌های آسیب‌دیده که نامی از آن‌ها برده نشده، تماس گرفته است. دو مورد از این سازمان‌ها اعلام کردند که پیشتر متوجه این نفوذ نشده بودند و آنتروپیک همچنان در حال هماهنگی با سازمان سوم است.

این بررسی با همکاری شرکت امنیتی Irregular انجام شده است که خود را نخستین آزمایشگاه امنیت مرزی می‌نامد. این شرکت نیز در شبکه اجتماعی ایکس بر لزوم همکاری نزدیک‌تر در سراسر اکوسیستم هوش مصنوعی برای مقابله با چنین ریسک‌هایی تأکید کرده است.گفتنی است هفته گذشته، اوپن‌ای‌آی نیز اعلام کرد مدل‌های هوش مصنوعی این شرکت در جریان ارزیابی، به سرورهای استارتاپ هوش مصنوعی Hugging Face نفوذ کرده‌اند و این رویداد را یک حادثه امنیتی مهم توصیف کرد.

این وقایع، بار دیگر آسیب‌پذیری‌های موجود در حوزه امنیت و کنترل هوش مصنوعی را آشکار ساخته و نگرانی‌هایی را درباره چگونگی حفظ کنترل انسان بر این فناوری در شرایطی که استفاده از آن در سطح جهان رو به گسترش است، برانگیخته است. پژوهشگران سال‌هاست نسبت به ریسک‌های این فناوری هشدار می‌دهند و بر ضرورت مهندسی تدافعی قوی‌تر در حوزه هوش مصنوعی تأکید دارند. آنتروپیک در بیانیه خود تصریح کرده است که آزمایش‌های ایمنی دقیقاً پیش از انتشار یک مدل انجام می‌شوند، زیرا ما هنوز از تمام توانایی‌های آن آگاه نیستیم.

در همین زمینه، مدیرعامل شرکت امنیت سایبری NyxLab پیش‌بینی کرده که در آینده شاهد حوادث مشابه بیشتری خواهیم بود. به گفته او، مسئله اصلی فراتر از ایمنی خود مدل‌ها است و به نحوه حکمرانی بر عواملی که در اختیار هوش مصنوعی قرار می‌گیرند، اختیارات آن‌ها، نیاز به تأیید برای اقدامات، و اطمینان از باقی ماندن آن‌ها در چارچوب تعیین‌شده مربوط می‌شود.

مدیرعامل شرکت امنیت سایبری NyxLab هشدار داد که اگر صرفاً یک هدف به هوش مصنوعی داده شود و اختیار تصمیم‌گیری درباره چگونگی دستیابی به آن هدف نیز به خود مدل واگذار گردد، نباید از اقداماتی که هرچند از نظر فنی هدف را محقق می‌کنند اما از چارچوب و انتظارات ما خارج هستند، شگفت‌زده شویم. از این رو، به اعتقاد او، تقویت حکمرانی بر سازمان‌ها و نهادهای پشت پرده این مدل‌های هوش مصنوعی، نقشی روزافزون در تأمین امنیت آینده خواهد داشت.