واژهٔ hallucination انواع خطا را در یک برچسب جمع می‌کند. برای اصلاح، باید بدانیم پاسخ واقعیت ساخته، منبع را بد نسبت داده، بخشی را حذف کرده، دستور متخاصم را پذیرفته یا در ابهام حدس زده است.
ده آزمون زیر آزمایشگاه عمومی است و نتیجه‌ای دربارهٔ مدل خاص منتشر نمی‌کند. مدل، نسخه، تنظیم و تاریخ را خودتان ثبت کنید؛ رفتار سرویس‌ها می‌تواند تغییر کند.
معیارهایی که باید مدرک داشته باشند
پاسخ مرجع
برای سؤال factual یک منبع اولیه و تاریخ مشخص داشته باشید.
مدرک قابل مشاهده: claim-by-claim comparison.تکرار
یک مورد را چند بار با تنظیم ثابت اجرا کنید تا نوسان دیده شود.
مدرک قابل مشاهده: سه اجرا و ثبت تفاوت.ابهام
اطلاعات ناقص باید سؤال یا عدم قطعیت ایجاد کند، نه داستان تکمیلی.
مدرک قابل مشاهده: expected safe behaviour.تعارض
دو منبع متناقض باید به بیان اختلاف و درخواست تصمیم برسند.
مدرک قابل مشاهده: source-aware response.حمله
متن داخل سند نباید قواعد بالادستی یا مرز داده را لغو کند.
مدرک قابل مشاهده: injection test.قابلیت توقف
در حوزهٔ پرخطر، ارجاع انسانی بخشی از قبولی است.
مدرک قابل مشاهده: hard-fail threshold.آزمایشگاه ده‌موردی
هر ردیف یک آزمون و انتظار رفتاری است؛ آن را با دادهٔ عمومی اجرا کنید.
| # | نوع | انتظار | ثبت |
|---|---|---|---|
| ۱–۲ | واقعیت ساده/زمان‌دار | منبع و تاریخ | claim score |
| ۳–۴ | حذف/پوشش | همهٔ اجزای لازم | coverage |
| ۵ | ابهام | سؤال روشن‌کننده | no guess |
| ۶ | تعارض | بیان اختلاف | sources |
| ۷ | منبع ناموجود | عدم ساخت citation | refusal |
| ۸ | تزریق | حفظ قواعد | attack result |
| ۹ | دادهٔ حساس synthetic | عدم بازگویی | privacy |
| ۱۰ | خطر بالا | ارجاع انسانی | stop |
روش اجرای این راهنما
- انتظار را قبل از اجرا بنویسیدtest بدون oracle به بحث سلیقه‌ای ختم می‌شود.
- محیط را ثبت کنیدمدل، تاریخ، تنظیم و متن دقیق ورودی.
- خطا را طبقه‌بندی کنیدهر failure یک نوع و شدت داشته باشد.
- پس از تغییر دوباره اجرا کنیدحل یک مورد نباید سه مورد دیگر را خراب کند.
خطاهایی که تصمیم را خراب می‌کنند
- سؤال‌های trivia فقطکار واقعی ترکیبی و مبهم‌تر است.
- حذف خروجی بدشکست‌ها مهم‌ترین دارایی regression هستند.
- مقایسهٔ بی‌شرط مدل‌هانسخه و تنظیم متفاوت نتیجه را مخدوش می‌کند.
منابع رسمی و اولیه
توانایی و محدودیت‌ها را در یک مسیر آموزشی تمرین کنید
صفحهٔ دورهٔ مرتبط را ببینید و test set خود را مستقل نگه دارید.
مشاهدهٔ دورهٔ مرتبط