ارزیابی مدل هوش مصنوعی با سودوکو
یک مجموعه معمای تکرارپذیر بسازید و جواب چند مدل را با قانون جدول بسنجید تا علت رد شدن هر پاسخ معلوم باشد.
ارزیابی مدل هوش مصنوعی با سودوکو زمانی مقایسه روشنی میدهد که هر دو مدل همان معما را با همان دستور بگیرند. فرض کنید مدل یکی از رقمهای اولیه را عوض میکند. اگر فقط به کامل بودن ۸۱ خانه نگاه کنید، اشتباه را نمیبینید. اسکیل puzzletide-agent-evals به ایجنتتون کمک میکند ابتدا تعدادی جدول با شناسه مشخص بسازد و بعد جواب هر مدل را به شناسه مربوط وصل کند.
نوع معما، سطح، تعداد و عدد ساخت را ثبت کنید. میتوانید همان مجموعه را هفته بعد دوباره روی نسخه تازه مدل بسنجید. در تمرین کلمهیابی، جواب به شکل نقطه شروع و پایان هر واژه داده میشود و ابزار بررسی میکند حروف روی یک خط واقعا آن واژه را میسازند. نتیجه درباره همین دو نوع تمرین حرف میزند. برای سنجش نوشتن متن مشتری، معیار جدا لازم دارید.
کاربردها
- برای ساخت آزمون مدل، چند معمای مصنوعی با شناسه ثابت بسازید و فایل سوالها را برای اجرای بعد نگه دارید.
- در مقایسه جواب مدلها، دستور و مجموعه سوال را یکسان نگه دارید تا تفاوت سطح جدول نتیجه را عوض نکند.
- با بررسی خطای سودوکو، ببینید مدل یک عدد اولیه را تغییر داده یا یکی از قانونهای سطر و ستون را شکسته است.
- در ارزیابی کلمهیابی، نقطه شروع و پایان هر واژه را به همان ترتیب خانهها از مدل بخواید.
- کنار گزارش، یک پاسخ ناموفق و دلیل رد شدنش را نگه دارید.
نصب و استفاده
- در محیط Node.js نسخه ۱۸٫۱۷ یا بالاتر، ابزار رسمی PuzzleTide را آماده کنید. ساخت سوال و بررسی محلی جوابها کلید سرویس مدل نمیخواهد.
- بگید «ده سودوکوی متوسط با یک عدد ساخت ثابت آماده کنید». سوالها را به مدل مورد آزمایش بدید و جوابها را با شناسه همان سوال ذخیره کنید.
- فایل جواب را با فایل سوال بسنجید، یک خطا را دستی مرور کنید و فقط درباره عملکرد در همین مجموعه گزارش بدید.
سوالات متداول
منبع
ساخته Caravaca Labs. نام اصلی: puzzletide-agent-evals، منتشرشده در GitHub با مجوز MIT.
مشاهده در GitHub