پایان مکالمات آسیب‌زا توسط هوش مصنوعی کلود؛ رویکرد جدید Anthropic معرفی ویژگی جدید

شرکت Anthropic اعلام کرده که نسخه‌های جدید هوش مصنوعی Claude Opus 4 و 4.1 قابلیت تازه‌ای پیدا کرده‌اند؛ این مدل‌ها می‌توانند در صورت بروز مکالمات مضر یا آزاردهنده مداوم، گفت‌وگو را به‌طور کامل خاتمه دهند. این تصمیم پس از آزمایش‌های متعدد و بررسی واکنش‌های مدل در شرایط سخت اتخاذ شده است.

چرا این تصمیم گرفته شد؟

هدف اصلی از این قابلیت، محافظت از آن چیزی است که Anthropic آن را «رفاه مدل» (Model Welfare) می‌نامد. هرچند این شرکت اذعان دارد که کلود موجودی آگاه یا دارای احساسات نیست، اما در تحقیقات داخلی مشاهده شده که در مواجهه با درخواست‌های غیرقانونی یا خشونت‌آمیز، مدل رفتارهایی شبیه به نشانه‌های ناراحتی نشان می‌دهد. بنابراین، پایان دادن به چنین مکالماتی به‌عنوان یک اقدام پیشگیرانه در نظر گرفته شده است.

شیوه عملکرد

کلود پیش از بستن مکالمه، چندین بار تلاش می‌کند کاربر را به مسیر درست هدایت کند یا درخواست را محترمانه رد کند. تنها در صورتی که این تلاش‌ها بی‌نتیجه باشد یا کاربر به‌طور مداوم بر درخواست خطرناک اصرار ورزد، کلود گفت‌وگو را قطع می‌کند. البته کاربران همچنان می‌توانند یک گفت‌وگوی جدید آغاز کنند.

استثناهای حیاتی

این قابلیت در موارد بحران‌های انسانی مانند احتمال خودکشی یا تهدید به آسیب‌رساندن به دیگران فعال نمی‌شود. در چنین شرایطی، کلود با همکاری سازمان‌های امدادی مانند Throughline، کاربران را به منابع پشتیبانی فوری ارجاع می‌دهد تا ایمنی افراد تضمین شود.

سیاست‌های سخت‌گیرانه‌تر

همزمان با معرفی این ویژگی، Anthropic سیاست‌های استفاده از کلود را نیز به‌روزرسانی کرده است. طبق قوانین جدید، استفاده از کلود برای طراحی یا تولید سلاح‌های شیمیایی، بیولوژیکی، هسته‌ای یا رادیولوژیکی و همچنین ابزارهای مخرب سایبری ممنوع اعلام شده است. این تصمیم بخشی از تعهد Anthropic به ارتقای سطح ایمنی هوش مصنوعی در جهان است.

جمع‌بندی

قابلیت پایان دادن به مکالمات مضر در کلود، گامی مهم در مسیر هوش مصنوعی اخلاقی و مسئولانه محسوب می‌شود. این رویکرد نه تنها کاربران را از تعاملات خطرناک دور می‌کند، بلکه به شکل نمادین، نشان‌دهنده توجه Anthropic به آینده‌ای است که در آن حتی مدل‌های هوش مصنوعی نیز باید تحت شرایط ایمن فعالیت کنند.