مایکروسافت برای پذیرش هوش مصنوعی در دولت، کنترل داده و آزمون سامانه را توصیه می‌کند

گزارش دفاع دیجیتال ۲۰۲۶ مایکروسافت مجموعه‌ای از پیشنهادها را برای استفاده امن‌تر نهادهای دولتی از هوش مصنوعی مطرح کرده است. محور اصلی توصیه‌ها این است که امنیت فقط به مدل محدود نمی‌شود؛ داده‌های در دسترس، ابزارهای قابل فراخوانی، هویت‌ها، مجوزها و زیرساخت پیرامون مدل نیز باید هم‌زمان ارزیابی شوند.

کنترل دسترسی و حفاظت از حافظه

مایکروسافت پیشنهاد می‌کند ابزارهای مجاز و نرم‌افزارهای تأییدنشده هر دو ردیابی شوند و سطح دسترسی بر اساس طبقه‌بندی داده تعیین شود. این محدودیت باید ورودی‌ها، گزارش پرس‌وجو، حافظه عامل و متن تولیدشده را نیز دربر بگیرد، زیرا هرکدام ممکن است اطلاعات محرمانه نگه دارند.

برای هر عاملی که میان APIها یا برنامه‌های مختلف کار می‌کند، یک هویت قابل ممیزی لازم است: سازنده، وظیفه و مسئول انسانی آن باید مشخص باشد. مجوزها نیز باید محدود و کوتاه‌مدت باشند و با تغییر دامنه کار عامل دوباره بررسی شوند. گزارش همچنین اعتبارنامه کوتاه‌عمر برای هر فراخوانی ابزار و سنجش سرعت لغو دسترسی پس از رخداد امنیتی را توصیه می‌کند.

جلوگیری از آلوده‌شدن حافظه عامل

به گفته مایکروسافت، آزمایش‌های تیم قرمز نشان داده‌اند دستورهای جاسازی‌شده در محتوای بیرونی، از جمله ایمیل، می‌توانند وارد حافظه شوند و بعداً به‌عنوان زمینه قابل اعتماد بازیابی شوند. راهکار پیشنهادی، جداسازی مسیر نوشتن در حافظه است تا داده بیرونی نتواند مستقیماً مخزن دستورهای تأییدشده سامانه را تغییر دهد.

مایکروسافت همچنین می‌گوید عامل‌ها ممکن است عادت‌های ذخیره‌شده کاربر را با دستورهای مستقیم اشتباه بگیرند. بر اساس این گزارش، نمایش ساده صفحه تأیید انسانی همیشه کافی نبوده است؛ بنابراین برای اقدامات حساس، دروازه‌های سیاستی سخت‌گیرانه پیشنهاد می‌شود که اجرای فرمان را تا بررسی خود فرمان و زمینه عملیاتی خام آن متوقف کنند.

عملیات امنیتی مشترک، با جداسازی سازمان‌ها

مدل پیشنهادی شامل مراکز عملیات امنیتی چندسازمانی است که در آن تحلیلگران و عامل‌های خودکار چند نهاد عمومی را پایش می‌کنند، اما هر سازمان محیط ابری، محل نگهداری داده و مرز اعتماد صفر خود را حفظ می‌کند. مایکروسافت استدلال می‌کند این اشتراک منابع می‌تواند هزینه‌های تکراری را کم کند و تخصص را در اختیار نهادهای کوچک‌تر بگذارد؛ با این حال، مقاله تصریح می‌کند گزارش داده‌ای برای اثبات صرفه‌جویی واقعی در سازمان‌های دولتی ارائه نکرده است.

در نمونه داخلی مایکروسافت، عامل‌ها برای گردآوری زمینه هشدار و تهیه خلاصه تهدید به کار می‌روند و شرکت می‌گوید این الگو بدون ارجاع انسانی در ۷۵ درصد رخدادهای امنیتی داخلی‌اش استفاده می‌شود. در مقابل، اقدام‌های مختل‌کننده مانند قفل‌کردن حساب باید تا تأیید مدیر متوقف بمانند و اعلام رسمی رخنه نیز در اختیار مدیران انسانی باشد. این رقم و تجربه، ادعای گزارش مایکروسافت است و در این مقاله به‌طور مستقل راستی‌آزمایی نشده است.

آزمون پیوسته و پاسخ‌گویی

جمع‌بندی توصیه‌ها این است که سامانه هوش مصنوعی باید در همان محیطی آزمایش شود که قرار است در آن کار کند؛ یعنی تعامل مدل، ابزار، داده و کاربر پیش از استقرار و پس از آن زیر نظر بماند. ثبت داده ورودی، امتیاز اطمینان عامل، تصمیم‌های گرفته‌شده و یادداشت بازبین انسانی نیز برای بازسازی رخداد و تعیین مسئولیت ضروری دانسته شده است.