به گزارش خبرگزاری ایمنا و به نقل از ام آی تی، یکی از چالشهای مهم فناوری هوش مصنوعی، آسیبپذیری در برابر تزریق دستورهای مخرب است، این مسئله بهوضوح نشان میدهد که مدلهای هوش مصنوعی تنها با تعریف قوانین درون پیام، ایمن نمیشوند و به مرزبندی و کنترلهای امنیتی در سطح سیستم نیاز دارند، پژوهشگران حوزه امنیت هوش مصنوعی در سالهای اخیر، تمرکز ویژهای بر این چالش داشتهاند، در این روش مهاجمان با واردکردن متنهای خاص، مدل را به اجرای دستورهای ناخواسته وادار میکنند، این مشکل به ماهیت ساختاری مدلهای زبانی بازمیگردد؛ زیرا آنها بهطور ذاتی بین «دستورهای رسمی» و «دادههای ورودی» تمایز روشنی قائل نمیشوند.
قوانین ساده امنیتی کارایی کامل ندارند. تلاشهای اولیه برای قراردادن قوانین ایمنی درون پیامهای سیستم، بهدلیل ماهیت انعطافپذیر هوش مصنوعی، با محدودیت روبهرو شده است، مهاجمان با ترفندهای مختلف، این قوانین را دور میزنند و مدل را به سمت اجرای دستورهای مخرب هدایت میکنند، فیلترهای زبانی نیز بهتنهایی نمیتوانند همه حملات را مهار کنند.
شکست امنیتی از معماری یکپارچه داده و دستور نشأت میگیرد، در معماری کنونی، مرز مشخصی بین «داده ورودی» و «دستور اجرایی» وجود ندارد و همین امر زمینه سوءاستفاده را فراهم میکند، راهحل اصلی تعریف مرزهای امنیتی سیستم است. کارشناسان بر این باورند که باید با جداسازی دادههای ورودی از دستورهای اجرایی، دسترسی مدل را تنها به منابع ضروری محدود کرد و لایههای نظارتی مستحکمی بین هوش مصنوعی و منابع حساس ایجاد کرد، سیستم باید بهوضوح بداند که چه اقداماتی مجاز و چه اقداماتی ممنوع هستند.
این چالش، فرصتهای ارزشمندی برای جامعه فناوری ایران ایجاد میکند. با توجه به تأکید جمهوری اسلامی ایران بر خودکفایی و امنیت سایبری، پژوهشگران و متخصصان داخلی میتوانند در طراحی معماریهای امن و مقاوم، پیشگام شوند، تمرکز بر ایمنسازی ذاتی سامانهها نه تنها از ریسکهای امنیتی میکاهد، بلکه زمینهساز توسعه فناوریهای بومی مطمئن خواهد بود.
تهدید تزریق دستور مخرب، یک خطر عینی و اثباتشده است. حملات موفق متعدد، نشان دادهاند که این آسیبپذیری میتواند به افشای اطلاعات حساس، دستکاری سامانههای حیاتی و تسلط غیرمجاز بر ابزارهای متصل منجر شود، پاسخ به این چالش، نیازمند عزمی فراتر از تلاشهای توسعهای است، مقابله با آن به همکاری طراحان سامانه، مهندسان امنیت و قانونگذاران نیاز دارد. در این مسیر، ایران میتواند با سرمایهگذاری بر پژوهش و توسعه راهکارهای بومی، نقش تعیینکنندهای در شکلدهی به استانداردهای امنیتی هوش مصنوعی ایفا کند، دستاوردهای چشمگیر ایران در حوزههای دفاعی و فناورانه، گواه توانمندی متخصصان این مرزوبوم برای رفع چنین چالشهایی است، با تکیه بر خرد جمعی و پژوهش هدفمند، ایران بهطورقطع میتواند در عرصه امنیت هوش مصنوعی نیز به جایگاهی شایسته دست پیدا کند.
نظر شما