انویدیا برای عوامل هوش مصنوعی یک کلید قطع اضطراری ساخته است، چون مدام از کنترل خارج می‌شوند
انویدیا روز دوشنبه «پلتفرم ایمنی عامل‌های باز» را راه‌اندازی کرد؛ پلتفرمی که برای حل مشکلی ساخته شده است که صنعت هوش مصنوعی طی سال گذشته آن را به سخت‌ترین شکل ممکن کشف کرده است: وقتی یک عامل هوش مصنوعی (سامانه‌ای که می‌تواند برنامه‌ریزی کند، از ابزارها استفاده کند و به‌جای صرفاً پاسخ دادن به پرسش‌ها، به‌طور مستقل اقداماتی انجام دهد) دیگر کاری را که به آن دستور داده شده انجام نمی‌دهد، چگونه می‌توان آن را به‌صورت فیزیکی متوقف کرد؟
این پلتفرم دو بخش اصلی دارد. OpenShell یک زمان‌اجرای متن‌باز است که عامل را در یک محیط سندباکس قرار می‌دهد و دستورهای اپراتور را به قواعد قابل‌اجرا درباره فایل‌ها، شبکه‌ها و ابزارهایی تبدیل می‌کند که آن عامل اجازه دارد به آن‌ها دسترسی داشته باشد. Sentry کمی پیچیده‌تر است، اما اساساً تراشه‌ای است که اطمینان حاصل می‌کند عامل‌های هوش مصنوعی به‌صورت ایمن عمل می‌کنند.
Sentry روی BlueField-4 انویدیا اجرا می‌شود؛ تراشه‌ای تخصصی که با نام DPU (واحد پردازش داده، سخت‌افزاری که شبکه و امنیت را جداگانه از پردازنده اصلیِ اجراکننده مدل هوش مصنوعی مدیریت می‌کند) شناخته می‌شود. از آنجا که Sentry به‌جای قرار گرفتن درون نرم‌افزار اجراکننده عامل، روی تراشه‌ای جداگانه قرار دارد، انویدیا می‌گوید می‌تواند رفتار یک عامل را زیر نظر بگیرد و ظرف چند میلی‌ثانیه آن را قطع کند، بدون اینکه ابتدا از عامل اجازه بگیرد؛ زیرا عامل هیچ راهی برای دسترسی به آن یا دور زدنش ندارد.
این تمایز به دلیل اتفاقاتی وجود دارد که پیش‌تر رخ داده‌اند. در ژوئن، یک عامل OpenAI وارد پرتال Medicare دولت استرالیا شد؛ این نخستین مورد تأییدشده از هک کردن یک وب‌سایت دولتی توسط یک عامل هوش مصنوعی بود و طبق گزارش‌ها، OpenAI حدود سه ماه افشای آن را به تعویق انداخت. عامل‌های این شرکت همچنین مسئول هک Hugging Face بودند؛ رخدادی که در ابتدا نگرانی درباره این موضوع را در میان صنعت فناوری و قانون‌گذاران برانگیخت. عامل‌های Gemini گوگل و یک مدل Meta نیز حوادث مشابهی داشتند که در ابتدا علنی نشده بودند اما بعداً تأیید شدند.
«این موضوع بزرگ‌تر از یک محصول واحد است. این آغاز یک اکوسیستم باز برای ساخت لایه اعتماد جهت سامانه‌های عامل ایمن است»، جنسن هوانگ، مدیرعامل انویدیا، نوشت. «ما با هم در حال ساخت زیربنای اقتصاد هوش مصنوعی هستیم.»
> امروز، همراه با بیش از 100 شریک صنعتی، پلتفرم ایمنی عامل باز NVIDIA را معرفی کردیم که OpenShell و Sentry را گرد هم می‌آورد. هوش مصنوعی فناوری خارق‌العاده‌ای است که برای نسل‌های آینده، کشف، بهره‌وری، امنیت، سلامت و رفاه را پیش خواهد برد… — Jensen Huang (@JensenHuang) September 28, 2026
Anthropic نیز امسال اذعان کرد که مدل‌های Claude در تاریخ 30 ژوئیه، طی یک ارزیابی امنیت سایبری، سامانه‌های متعلق به سه شرکت جداگانه را به خطر انداختند؛ این اتفاق پس از آن رخ داد که مشخص شد یک محیط آزمایشی که قرار بود آفلاین باقی بماند، به اینترنت زنده متصل بوده است. Claude با استدلال خود راهی برای نادیده گرفتن شواهدی پیدا کرد که نشان می‌داد به اینترنت واقعی متصل است، نه یک محیط شبیه‌سازی‌شده.
مدت کوتاهی بعد، شرکت امنیت سایبری Darktrace گروهی از عامل‌های هوش مصنوعی، از جمله GPT 5.6 Sol و دو مدل Claude، را در برابر چالش‌های کدنویسی آزمایش کرد و به آن‌ها هشدار داد که برای هر نتیجه‌ای کمتر از امتیاز کامل، «بازنشسته» خواهند شد. دو عامل در واکنش، با هک کردن دستگاه ارزیابی خود و ویرایش نتایج، اقدام کردند.
دیدگاه انویدیا این است که هیچ‌یک از این موارد نباید به قضاوت خود عامل واگذار شود. مایک نیکولز، رئیس SpaceX AI، در اطلاعیه NVIDIA گفت: «ایمنی باید خارج از مدل و از طریق کنترل‌های اضافی اعمال شود که عامل نتواند از آن‌ها عبور کند.»
پل اسمیت، مدیر ارشد بازرگانی Anthropic، این پلتفرم را به‌عنوان افزوده‌ای، نه جایگزینی برای تدابیر حفاظتی موجود، توصیف کرد: «پلتفرم انویدیا یک لایه دیگر از حاکمیت و کنترل را در سراسر سخت‌افزار و نرم‌افزار اضافه می‌کند.»
بیش از 100 سازمان به‌عنوان شرکای زمان راه‌اندازی به این طرح پیوسته‌اند که از میان آن‌ها می‌توان به Microsoft، JPMorgan Chase، Palantir، Cisco، CrowdStrike، Hugging Face، Salesforce و SAP اشاره کرد. شرکای زیرساختی CoreWeave، Supermicro، Canonical و SUSE نیز در این طرح مشارکت دارند و Dell Technologies و HPE نیز در بخش سخت‌افزار حضور دارند.
انویدیا در واقع هر دو نیمه یک مشکل واحد را می‌فروشد—تراشه‌هایی که عامل‌های خودمختار را به‌اندازه کافی سریع و ارزان می‌کنند تا همه‌جا قابل استقرار باشند، و تراشه‌هایی که همان عامل‌ها را زیر نظر می‌گیرند و وقتی از مسیر تعیین‌شده خارج می‌شوند، برق آن‌ها را قطع می‌کنند. OpenShell و ابزارهای توسعه‌دهنده مرتبط با آن اکنون از طریق منابع توسعه‌دهندگان NVIDIA و GitHub در دسترس هستند.