حاکمیت عامل‌های خودمختار هوش مصنوعی؛ کنترل باید بخشی از معماری باشد

عامل‌های خودمختار هوش مصنوعی فقط پاسخ تولید نمی‌کنند؛ ممکن است یک گردش‌کار را آغاز کنند، با سامانه‌های دیگر ارتباط بگیرند یا پیش از بازبینی انسان اقدامی انجام دهند. مارینلا پروفی، مدیر راهبرد بازار جهانی عامل‌های هوش مصنوعی و هوش مصنوعی مولد در SAS، در گفت‌وگویی با AI News می‌گوید همین توانایی، شیوه استقرار و کنترل این سامانه‌ها را تغییر می‌دهد.

سرعت، بدون حذف قابلیت توقف

به گفته پروفی، الگوی «سریع عرضه کن و بعد اصلاح کن» زمانی پرخطر می‌شود که نرم‌افزار اختیار عمل داشته باشد. او تأکید می‌کند حرکت سریع در سامانه‌های خودمختار باید از ابتدا شامل مشاهده‌پذیری، محدودسازی، توقف و بازیابی باشد. پیش از استقرار نیز باید دامنه اختیار عامل، پیامد احتمالی خطا و امکان بازگرداندن اقدام آن مشخص شود.

پروفی با استناد به گزارش Data & AI Impact شرکت SAS می‌گوید اعتماد گزارش‌شده به هوش مصنوعی مولد ۷۶ درصد و به هوش مصنوعی عاملی ۶۶ درصد است؛ در عین حال، طبق همین گزارش ۸۹ درصد عامل‌های مستقرشده در محیط عملیاتی در حال اقدام‌اند، نه صرفاً کمک‌رسانی، و بیش از نیمی با تأیید انسانی محدود یا بدون آن کار می‌کنند. این ارقام، یافته‌های گزارش SAS هستند و نه سنجش مستقلی در این مقاله.

حاکمیت به‌عنوان معماری اجرایی

از نگاه پروفی، بدهی اصلی اغلب در خود مدل نیست، بلکه در اجزای پیرامونی شکل می‌گیرد: نبود پیوند قابل‌ردیابی میان داده، مدل، تصمیم و اقدام؛ مجوزهای بیش‌ازحد کلی؛ ثبت خروجی بدون ثبت ابزارهای فراخوانی‌شده؛ یا سیاست‌هایی که فقط روی کاغذ مانده‌اند. اگر بعداً ممیز یا مشتری بپرسد سامانه چرا تصمیمی گرفته، از چه داده‌ای استفاده کرده و مسئول آن چه کسی بوده است، معماری باید بتواند کل زنجیره را بازسازی کند.

او پیشنهاد می‌کند سیاست‌ها به کنترل‌های قابل‌اجرا تبدیل شوند: عامل به چه داده‌ای دسترسی دارد، کدام اقدام نیازمند تأیید است، چه آستانه‌ای موجب ارجاع می‌شود، چه چیزی باید ثبت شود و کدام مدل برای هر کاربرد مجاز است. به باور او، چنین حاکمیتی صرفاً مانع نیست؛ زیرساختی تکرارپذیر است که می‌تواند استقرارهای بعدی را سریع‌تر و ایمن‌تر کند.

آزمون سامانه، نه فقط مدل

یک نمونه نمایشی معمولاً فقط نشان می‌دهد عامل می‌تواند وظیفه‌ای را انجام دهد. محیط واقعی اما با داده کهنه، تغییر مجوز، خرابی ابزار و تعامل‌های پیش‌بینی‌نشده روبه‌رو است. بنابراین ارزیابی باید علاوه بر دقت پاسخ، کل زنجیره تصمیم و اقدام را بسنجد: آیا عامل مجاز به اقدام بود، داده درست را به کار برد، ابزار مناسب را فراخواند و در مرز تعیین‌شده ماند؟

پروفی نسبت به معماری «یک لایه هوشمند روی همه‌چیز» هشدار می‌دهد. اتصال یک مدل زبانی به همه داده‌ها و ابزارهای سازمان شاید روی نقشه جذاب باشد، اما جزء احتمالاتی نباید به صفحه کنترل کل سازمان تبدیل شود. عامل باید درون معماری داده، تصمیم‌گیری و کنترل فعالیت کند و مجوز آن در سطح عامل یا وظیفه محدود باشد.

انسان ناظر، نه تأییدکننده همه‌چیز

مرز میان انسان و ماشین باید بر اساس ریسک، برگشت‌پذیری، عدم‌قطعیت و پیامد جابه‌جا شود. اقدامات کم‌خطر و برگشت‌پذیر می‌توانند خودکار باشند؛ موارد استثنایی به انسان ارجاع شوند؛ و تصمیم‌های پرپیامد درباره سلامت، اعتبار، اشتغال یا خدمات عمومی همچنان تأیید صریح انسان را بخواهند.

الگوی مطلوب پروفی «انسان ناظر بر حلقه» است: انسان حدود اختیار و معیارهای ارجاع را تعیین می‌کند، ماشین در آن محدوده کار می‌کند و انسان امکان مشاهده و مداخله را حفظ می‌کند. جمع‌بندی او روشن است: می‌توان اجرای کار را به هوش مصنوعی سپرد، اما مسئولیت‌پذیری را نه.