امنیت هوش مصنوعی به زنجیره منشأ از زمینه تا اقدام نیاز دارد

بحث امنیت هوش مصنوعی اغلب روی خود مدل متمرکز است: آیا می‌توان آن را جیلبریک کرد، اطلاعات حساس را از آن بیرون کشید یا ورودی‌اش را دست‌کاری کرد؟ این پرسش‌ها مهم‌اند، اما سامانه‌های عملیاتی جدید از چند لایه متصل ساخته شده‌اند. یک درخواست ممکن است بازیابی سند، استنتاج مدل، فراخوانی ابزار، دسترسی به API و سرانجام تغییر در سامانه‌ای دیگر را فعال کند.

تحلیل منتشرشده در AI News استدلال می‌کند که امنیت چنین سامانه‌ای فقط حاصل امن‌بودن تک‌تک اجزا نیست. سازمان باید در تمام تبدیل‌ها «زنجیره منشأ» را حفظ کند: اطلاعات از کجا آمده، چه هویتی آن را وارد کرده، مدل با چه اختیاری آن را پردازش کرده، کدام سیاست مرحله بعد را مجاز دانسته و در پایان چه اقدامی انجام شده است.

خطر در مرز میان اجزا

ممکن است مدل درست رفتار کند، اما برنامه پیرامون آن ریسک بسازد. سامانه بازیابی می‌تواند دستورهای نامطمئن را وارد زمینه کند؛ ابزار ممکن است آرگومان‌هایی را بپذیرد که مدل نباید قادر به تولیدشان باشد؛ یا برنامه با تکیه بر مجوز کلی حساب کاربر، اقدامی را مجاز کند که وظیفه مشخص به آن نیاز نداشته است.

در این مرزها معنای داده تغییر می‌کند. یک سند بازیابی‌شده برای برنامه «داده» است، اما برای مدل می‌تواند «دستور» به نظر برسد. خروجی مدل برای برنامه یک پیشنهاد است، ولی اگر مستقیم به لایه اجرا برود به فرمان تبدیل می‌شود. به همین دلیل، اجزای ظاهراً معتبر نیز می‌توانند در کنار هم زنجیره‌ای ناامن بسازند.

منشأ پیش از پرامپت آغاز می‌شود

نخستین سؤال فقط این نیست که کاربر چه نوشته است؛ باید مشخص باشد چه شخص یا فرایندی، با کدام هویت و چه سطح اختیاری کار را آغاز کرده است. در محیط سازمانی، آغازگر ممکن است کاربر، فرایند زمان‌بندی‌شده، برنامه‌ای پس از یک رویداد تجاری یا عامل دیگری باشد که زیرکاری را واگذار می‌کند.

فراداده امنیتی مانند هویت آغازگر، وضعیت دستگاه یا بارکاری، طبقه‌بندی داده، هدف مجاز و سقف اختیار باید همراه درخواست حرکت کند. اگر این زمینه پس از نخستین فراخوانی مدل حذف شود، کنترل‌های پایین‌دستی ناچارند نیت را از شواهد ناقص بازسازی کنند.

زمینه بازیابی‌شده نیز به برچسب اعتماد نیاز دارد

سامانه‌های RAG پاسخ‌ها را با داده‌های سازمانی غنی می‌کنند، اما محتوای بازیابی‌شده می‌تواند شامل دستورهای مخرب، مجوزهای قدیمی، متن دست‌کاری‌شده یا داده‌ای باشد که ترکیب آن با منابع دیگر برای کاربر مجاز نیست. لایه بازیابی باید هویت منبع، حقوق دسترسی، تازگی و سطح اعتماد را همراه محتوا نگه دارد و همه منابع را در یک توده متن بی‌نام ادغام نکند.

این ردیابی کمک می‌کند مشخص شود یک نتیجه بر داده معتبر تکیه داشته، اطلاعات حساس از مرز سیاست عبور کرده یا منبع هنگام تصمیم‌گیری هنوز معتبر بوده است. مقاله، گزارش کارگاه «پروفایل سایبری هوش مصنوعی ۲۰۲۶» مؤسسه NIST را نیز به‌عنوان نمونه‌ای از پیوند ریسک‌های ویژه هوش مصنوعی با حاکمیت عمومی امنیت سایبری ذکر می‌کند.

خروجی ساختاریافته مساوی خروجی قابل‌اعتماد نیست

JSON معتبر، نام تابع درست یا آرگومان منطبق با طرح‌واره فقط ساختار را تأیید می‌کند، نه مجازبودن اقدام را. خروجی مدل باید ورودی نامطمئن یک لایه تصمیم‌گیری مستقل تلقی شود. پیش از اجرای ابزار، کد مورداعتماد باید هویت آغازگر، دامنه منبع هدف، مجازبودن داده و نیاز احتمالی به تأیید انسان را بررسی کند.

مدل می‌تواند اقدام را پیشنهاد کند، اما نباید اختیار خود را تعریف کند. این جداسازی در سامانه‌هایی که عامل هوش مصنوعی از ابزارهای واقعی استفاده می‌کند، مانع تبدیل یک پاسخ خوش‌ساخت به اقدامی خارج از حدود مجوز می‌شود.

یک شناسه برای کل اجرای عامل

اگر عاملی تیکت پشتیبانی را بخواند، پرونده مشتری را بازیابی کند، CRM را تغییر دهد، ایمیل بسازد و آن را بفرستد، سابقه امنیتی نباید پنج گزارش جدا از هم باشد. یک شناسه وظیفه باید درخواست اولیه، منابع داده، تصمیم‌های مجوز، فراخوانی ابزار، تأیید کاربر و تغییر نهایی را به هم پیوند دهد.

این زنجیره به بررسی‌کننده اجازه می‌دهد خودکارسازی مشروع را از خودکارسازی دست‌کاری‌شده تشخیص دهد. همچنین می‌توان هنگام تغییر ماهیت کار—مثلاً از خواندن به ویرایش یا از پردازش داخلی به ارتباط بیرونی—الزامات امنیتی سخت‌گیرانه‌تری اعمال کرد.

ردیابی برای ابطال و اصلاح هدفمند

اسناد اصلاح می‌شوند، دسترسی‌ها تغییر می‌کنند، مدل‌ها به‌روزرسانی می‌شوند و ابزارها جایگزین می‌شوند. اگر منشأ قوی ثبت شده باشد، سازمان می‌تواند خروجی‌ها یا اقدام‌هایی را پیدا کند که به منبع آسیب‌دیده، مؤلفه دارای آسیب‌پذیری یا مجوز باطل‌شده وابسته بوده‌اند. بدون این ارتباط، برآورد دامنه اثر دشوار می‌شود.

هدف ثبت استدلال پنهان مدل نیست؛ آنچه امنیت نیاز دارد علیت قابل‌مشاهده پیرامون سامانه است: ورودی چه بود، از چه منابعی استفاده شد، چه هویتی عمل کرد، کدام ابزارها در دسترس بودند، کدام سیاست تصمیم گرفت و در نهایت چه چیزی تغییر کرد. زنجیره عملی می‌تواند چنین باشد: هویت درخواست ← زمینه بازیابی‌شده ← تعامل مدل ← اقدام پیشنهادی ← تصمیم مجوز ← اجرای ابزار ← وضعیت حاصل.

با حرکت هوش مصنوعی از تولید محتوا به تغییر سامانه‌های تجاری، حفظ این زنجیره به یک جزء پایه امنیت تبدیل می‌شود. راه‌حل واقع‌بینانه این نیست که همه مؤلفه‌ها کاملاً قابل‌اعتماد فرض شوند؛ بلکه باید بتوان تغییر اعتماد از زمینه تا اقدام را دید و هرجا یکی از حلقه‌ها اعتبارش را از دست داد، اجرا را متوقف کرد.