ارزیابی پاسخهای Omni با هوش مصنوعی
یک مجموعه سوال بسازید و همون سوالها رو روی دو نسخه مدل تحلیلی امتحان کنید. برای هر پاسخ ببینید داور چه ایرادی پیدا کرده و چرا به اون نتیجه رسیده.
ارزیابی پاسخهای Omni با هوش مصنوعی وقتی به کارتون میاد که یک تعریف رو در مدل داده تغییر دادید و میخواید ببینید جواب سوالهای روزمره تیم چه فرقی کرده. مثلا پرسیدید «هفته قبل چند سفارش برگشت خورد؟» و جواب ظاهرا درسته، اما هفته از روز اشتباهی شروع شده. خوندن یک عدد به تنهایی به شما نشون نمیده ایراد از انتخاب داده بوده یا از برداشت نادرست از سوال.
اسکیل omni-ai-eval همین سوالها رو در بخش ارزیابی Omni نگه میداره تا بتونید دوباره ازشون استفاده کنید. داور خود سرویس روند رسیدن به جواب رو میبینه، از انتخاب موضوع و گرفتن نتیجه تا جواب نهایی. میتونید برای سوالی که تعریف خاصی داره انتظار تیم رو هم بنویسید. این توضیح کمک میکنه معلوم بشه چرا دو پاسخ شبیه به هم نتیجه ارزیابی متفاوتی گرفتن.
کاربردها
- برای سوالهای پرتکرار تیم یک مجموعه سوال قابل استفاده دوباره بسازید.
- پاسخ موردانتظار رو برای مواردی که معیار روشنی دارن ثبت کنید.
- برای مقایسه دو نسخه از همون سوالها استفاده کنید.
- ببینید مدل تحلیلی در کدوم سوالها سراغ موضوع یا بازه زمانی اشتباه رفته.
- نظر داور و دلیلش رو کنار پاسخ بخونید و موارد اختلاف رو برای بررسی نگه دارید.
نصب و استفاده
- اسکیل و ابزار رسمی خط فرمان Omni رو آماده کنید. به حساب مجاز، یک مدل اشتراکی با موضوع آماده برای هوش مصنوعی و دسترسی ارزیابی نیاز دارید. اجرای سوالها ممکنه از اعتبار حسابتون مصرف کنه.
- مثلا بگید «این سوالهای گزارش هفتگی رو روی شاخه آزمایشی و نسخه اصلی بررسی کنید. جایی که تعریف هفته یا مرجوعی فرق کرده دلیل داور رو کنار نتیجه بیارید.»
- یکی از جوابهای قبولشده و یکی از جوابهای ردشده رو خودتون با تعریف تیم بسنجید. متن سوالها و انتظارها در سرویس ذخیره میشه، پس فقط اطلاعات مجاز رو وارد کنید.
سوالات متداول
منبع
ساخته Omni Analytics, Inc. نام اصلی: omni-ai-eval، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub