انویدیا پلتفرم باز ایمنی عامل‌های هوش مصنوعی را با بیش از ۱۰۰ شریک معرفی کرد

انویدیا پلتفرم «Open Agent Safety» را با همراهی بیش از ۱۰۰ سازمان معرفی کرده است؛ طرحی باز برای اعمال محدودیت‌های قابل‌اجرا بر عامل‌های هوش مصنوعی، از مرحله آزمایش تا استفاده عملی. طبق اعلام انویدیا، این پلتفرم از دو بخش اصلی OpenShell و Sentry تشکیل شده است.

OpenShell چه کاری انجام می‌دهد؟

OpenShell یک محیط اجرای متن‌باز با مجوز Apache 2.0 است که عامل را در یک فضای ایزوله اجرا می‌کند. مدیران می‌توانند پیش از آغاز کار، دسترسی عامل به شبکه، فایل‌ها، فرایندها، ابزارها و اعتبارنامه‌ها را محدود کنند. هدف این است که کنترل‌ها بیرون از خود مدل و چارچوب عامل اعمال شوند؛ بنابراین رفتار پیش‌بینی‌نشده عامل لزوماً به دسترسی نامحدود منجر نمی‌شود.

انویدیا می‌گوید OpenShell برای پردازنده Vera بهینه شده، اما قابلیت توسعه برای سکوهای سخت‌افزاری دیگر، از جمله محصولات Arm و Intel، را نیز دارد.

لایه سخت‌افزاری Sentry

Sentry یک ناظر خارج از بستر اجرای عامل است که روی واحدهای پردازش داده BlueField-4 کار می‌کند. در طراحی مرجع Vera Rubin POD، ارتباطات از مسیری عبور می‌کنند که این لایه می‌تواند آن را مستقل از سیستم‌عامل میزبان پایش کند. Sentry با استفاده از نرم‌افزار DOCA، فعالیت عامل، تصمیم‌های سیاستی و دسترسی به ابزار و داده را ثبت می‌کند و بنا بر ادعای انویدیا می‌تواند عاملی را که از مرزهای تعیین‌شده عبور می‌کند، در چند میلی‌ثانیه قرنطینه کند.

اهمیت این معماری

این رویکرد سه سطح برنامه، محیط اجرا و زیرساخت فیزیکی را از هم جدا می‌کند. سیاست‌های OpenShell مشخص می‌کنند عامل چه کاری مجاز است انجام دهد و Sentry یک لایه مستقل برای مشاهده و اجرای سیاست فراهم می‌کند. چنین معماری‌ای می‌تواند دامنه خطا یا سوءاستفاده را محدود کند، اما معرفی پلتفرم به‌تنهایی اثبات نمی‌کند که همه عامل‌ها یا همه مسیرهای فرار در عمل مهار خواهند شد؛ میزان اثربخشی به پیکربندی، پیاده‌سازی و ارزیابی مستقل وابسته است.

انویدیا اعلام کرده است سازمان‌هایی که از سامانه‌های Vera و BlueField-4 استفاده می‌کنند، می‌توانند این قابلیت‌ها را با به‌روزرسانی نرم‌افزاری فعال کنند. شرکت‌هایی از حوزه مدل، امنیت، زیرساخت و نرم‌افزار سازمانی نیز در اکوسیستم این طرح حضور دارند.