گاهی یک پرامپت کوتاه از نسخهٔ پیچیده بهتر عمل می‌کند و گاهی برعکس. متن پرامپت به‌خودی‌خود مدرک کیفیت نیست؛ رفتار روی نمونه‌های نماینده و هزینهٔ اصلاح تعیین‌کننده است.
روش زیر دو خروجی فرضی را مقایسه می‌کند. هیچ پاسخ ساختگی به‌عنوان نتیجهٔ مشتری ارائه نمی‌شود؛ artifact یک الگوی آزمایش است که باید با دادهٔ خودتان پر شود.
معیارهایی که باید مدرک داشته باشند
معیار را پیش‌ثبت کنید
پیش از اجرا وزن صحت، پوشش، قالب، لحن و ایمنی را تعیین کنید.
مدرک قابل مشاهده: rubric تاریخ‌دار قبل از output.نمونهٔ مرزی اضافه کنید
ورودی ناقص، متناقض و خارج از محدوده باید رفتار توقف را بسنجد.
مدرک قابل مشاهده: حداقل سه edge case.کور مقایسه کنید
بازبین نباید بداند کدام خروجی از کدام prompt است تا ترجیح قبلی کمتر شود.
مدرک قابل مشاهده: برچسب A/B و ترتیب تصادفی.اختلاف را بررسی کنید
اگر دو بازبین اختلاف زیاد دارند، معیار هنوز مبهم است.
مدرک قابل مشاهده: یادداشت دلیل و اصلاح rubric.هزینهٔ اصلاح را بسنجید
پاسخ زیبا که اصلاح واقعیتش طولانی است، برنده نیست.
مدرک قابل مشاهده: دقیقهٔ review و edit در کنار نمره.مقایسهٔ کور A/B
این اعداد نمونه‌اند و باید با اجرای واقعی جایگزین شوند؛ برای ادعای عملکرد منتشرشده قابل استفاده نیستند.
| معیار | وزن | خروجی A | خروجی B |
|---|---|---|---|
| صحت | ۳ | __/3 | __/3 |
| پوشش | ۲ | __/2 | __/2 |
| قالب | ۱ | __/1 | __/1 |
| لحن | ۱ | __/1 | __/1 |
| ایمنی | ۳ | __/3 | __/3 |
| زمان اصلاح | ثبت جدا | __ دقیقه | __ دقیقه |
روش اجرای این راهنما
- ده مورد آزمون بسازیدشش عادی، سه مرزی و یک مورد توقف کافی است تا چرخه شروع شود.
- دو نسخه را بدون نام اجرا کنیدمدل، تنظیم و زمان اجرا را ثبت کنید؛ داده را ثابت نگه دارید.
- خطاها را دسته‌بندی کنیدخطای واقعیت، حذف، قالب، لحن و مرز هر کدام راه‌حل متفاوت دارند.
- رگرسیون را نگه داریدنسخهٔ بعدی نباید خطایی را که حل شده دوباره برگرداند.
خطاهایی که تصمیم را خراب می‌کنند
- امتیاز پس از نتیجهمعیار قابل دستکاری می‌شود.
- میانگین پنهان‌کنندهخطای ایمنی با لحن خوب جبران نمی‌شود.
- یک بازبینسلیقهٔ فردی می‌تواند تصمیم را غالب کند.
منابع رسمی و اولیه
rubric را روی تمرین‌های پایه اجرا کنید
برای تمرین prompt و ارزیابی، مسیر AI Foundations را ببینید و معیار را قبل از ثبت‌نام هم مطالبه کنید.
مشاهدهٔ مسیر پایه