محمدعلی کاظمی در گفت‌وگو با خبرنگار ایمنا با هشدار درباره پیامدهای خطای سامانه‌های هوشمند اظهار کرد: خطر اصلی هوش مصنوعی فقط اشتباه‌کردن نیست؛ مسئله زمانی آغاز می‌شود که تصمیم اشتباه به زیرساخت‌های واقعی متصل شود، بر زندگی انسان اثر بگذارد و هیچ‌یک از عوامل دخیل مسئولیت آن را نپذیرند.
وی افزود: از نظر فنی، هوش مصنوعی یک سامانه محاسباتی است، نه یک شخص دارای اراده و مسئولیت حقوقی مستقل، بنابراین صرف اینکه یک مدل هوش مصنوعی تصمیمی اشتباه تولید کرده است به این معنا نیست که مسئولیت به خود آن منتقل می‌شود.
این کارشناس فناوری اطلاعات و ارتباطات گفت: باید بررسی کنیم چه کسی سامانه را طراحی کرده، داده‌های آموزشی آن چگونه انتخاب شده، چه محدودیت‌هایی داشته و چه نهادی اجازه داده است خروجی آن مبنای تصمیم‌گیری قرار گیرد؛ مسئولیت حقوقی نیز به قوانین حاکم و جزئیات هر پرونده بستگی دارد.
کاظمی با اشاره به خطرناک‌ترین نوع خطای هوش مصنوعی بیان کرد: خطری که باید جدی گرفته شود، ترکیب خطای الگوریتمی با اختیار اجرایی است؛ یک چت‌بات ممکن است اطلاعات نادرست تولید کند؛ اما یک عامل هوشمند متصل به سامانه بانکی، پرونده‌های پزشکی، زیرساخت صنعتی یا شبکه سازمانی می‌تواند بر اساس همان خطا اقدامی واقعی انجام دهد.
وی ادامه داد: اگر این سامانه به ابزارهای اجرایی دسترسی گسترده داشته باشد، اشتباه محدود آن ممکن است به زنجیره‌ای از اقدامات نادرست تبدیل شود؛ در چنین شرایطی، سرعت ماشین و مقیاس خودکارسازی می‌تواند خسارت را پیش از مداخله انسان گسترش دهد.
این کارشناس فناوری اطلاعات و ارتباطات گفت: بسیاری از مدل‌های پیشرفته، به‌ویژه مدل‌های یادگیری عمیق، رفتارهایی دارند که توضیح دقیق علت یک خروجی مشخص را دشوار می‌کند؛ علاوه بر این خطا همیشه از خود مدل ناشی نمی‌شود؛ داده معیوب، اتصال ناامن به نرم‌افزارهای دیگر، تنظیمات نادرست، به‌روزرسانی نامناسب یا استفاده خارج از محدوده تعریف‌شده نیز می‌تواند دخیل باشد، بنابراین بدون ثبت نسخه مدل، ورودی‌ها، خروجی‌ها، مجوزهای دسترسی و رویدادهای سامانه، بازسازی فنی حادثه و اثبات رابطه علت و معلولی دشوارتر خواهد شد.
هوش مصنوعی زمانی به یک خطر مهارنشدنی تبدیل می‌شود که قدرت تصمیم‌گیری و اجرا داشته باشد اما مسئولیت استفاده از آن مبهم باقی بماند
کاظمی با بیان اینکه نمی‌توان یک پاسخ ثابت برای همه پرونده‌ها ارائه کرد، خاطرنشان کرد: اگر نقص طراحی یا ضعف امنیتی محصول علت حادثه باشد، نقش توسعه‌دهنده یا عرضه‌کننده باید بررسی شود؛ اگر سازمانی بدون ارزیابی متناسب، سامانه را برای تصمیم‌های حساس به کار گیرد یا هشدارهای ایمنی را نادیده بگیرد، مسئولیت آن سازمان نیز مطرح می‌شود. در مواردی که اپراتور برخلاف دستورالعمل عمل کرده یا اختیار مداخله داشته و به‌درستی از آن استفاده نکرده است، عملکرد او هم باید بررسی شود؛ ممکن است چند عامل هم‌زمان در وقوع خسارت نقش داشته باشند.
وی اضافه کرد: آزمون‌های امنیتی و عملکردی پیش از عرضه کافی نیستند؛ سامانه باید در زمان بهره‌برداری نیز پایش شود، حدود اختیار آن مشخص باشد و برای شرایط غیرعادی، امکان توقف ایمن و مداخله انسانی وجود داشته باشد، بنابراین ثبت رویدادها، ارزیابی مستقل، کنترل دسترسی و بررسی تغییرات مدل پس از به‌روزرسانی ضروری است؛ در کاربردهای پرخطر، تصمیم نهایی نباید صرفا به خروجی تأییدنشده یک مدل وابسته باشد.
این کارشناس فناوری اطلاعات و ارتباطات در پاسخ به این پرسش که اگر این سازوکارها وجود نداشته باشد چه اتفاقی می‌افتد، گفت: ممکن است با وضعیتی روبه‌رو شویم که خسارت واقعی رخ داده است، اما سازمان‌ها یکدیگر را مقصر معرفی می‌کنند و فرد آسیب‌دیده به اطلاعات لازم برای اثبات ادعای خود دسترسی ندارد، به همین دلیل مسئولیت‌پذیری باید از مرحله طراحی آغاز شود، نه پس از حادثه، زیرا هر سامانه هوشمند باید مالک مشخص، محدوده اختیار تعریف‌شده، سوابق قابل بررسی و مسیر روشن رسیدگی به شکایت داشته باشد.
کاظمی عنوان کرد: هوش مصنوعی زمانی به یک خطر مهارنشدنی تبدیل می‌شود که قدرت تصمیم‌گیری و اجرا داشته باشد، اما مسئولیت استفاده از آن مبهم باقی بماند؛ توسعه این فناوری بدون سازوکار پاسخ‌گویی، نظارت و جبران خسارت، نه‌تنها اعتماد عمومی را تضعیف می‌کند، بلکه می‌تواند خطاهای نرم‌افزاری را به بحران‌های انسانی، اقتصادی و امنیتی تبدیل کند.
نظر شما