ارزیابی دستیار صوتی با هوش مصنوعی
برای یک کار واقعی مثل تغییر رزرو، جدا بررسی کنید دستیار چه شنیده، چه گفته و سامانه واقعا چه کاری انجام داده. این سه نتیجه همیشه با هم یکی نیستن.
ارزیابی دستیار صوتی با هوش مصنوعی وقتی معنی پیدا میکنه که یک تماس ظاهرا موفق رو تا نتیجه واقعی دنبال کنید. شاید متن پیادهشده خوب باشه و دستیار بگه «انجام شد»، اما ابزار ثبت رزرو خطا داده باشه. اسکیل voice-agent-evaluation کمک میکنه برای هر ادعا شاهد مناسب انتخاب کنید. کیفیت متن، زمان شنیده شدن جواب و ثبت اقدام در سامانه هرکدوم بررسی خودشون رو میخوان.
با چند سناریوی کوتاه میتونید چیزهایی رو ببینید که یک میانگین کلی پنهان میکنه. مثلا گم شدن یک «نه» در یک جمله یا اشتباه شنیدن رقم آخر تاریخ ممکنه با وجود درست بودن بقیه جمله، نتیجه کار رو عوض کنه. اگر برای تست از ابزار شبیهسازیشده استفاده کردید، گزارش باید روشن بگه چه چیزی فقط در محیط آزمایشی تایید شده و چه چیزی هنوز به آزمون کامل نیاز داره.
کاربردها
- برای تست مکالمه، مسیر عادی رو کنار اصلاح اشتباه، قطع کردن و درخواست نامفهوم بذارید.
- در بررسی پاسخ صوتی، متن تولیدشده رو از چیزی که واقعا پخش شده جدا کنید.
- برای نتیجه ابزار، رویداد موفق یا ناموفق ثبت عملیات رو جدا از جمله دستیار بخونید.
- در سنجش کیفیت، اشتباه روی نام، تاریخ یا منفی بودن جمله رو بر اساس اثرش روی کار بسنجید.
- برای گزارش آزمون، نمونه مجاز، نسخه ابزار و دلیل قبول یا رد سناریو رو نگه دارید.
نصب و استفاده
- اسکیل رو نصب کنید و هدف تماس، مسیرهای مورد انتظار و نمونههای مجاز رو بدید. برای آزمون کامل به محیط تست سرویس و ابزارهای متصل نیاز دارید. برای داده حساس از نمونه ساختگی استفاده کنید.
- مثلا بگید «مکالمه تغییر وقت رو در سه حالت آزمایش کن. بین متن شنیدهشده، صدای پخششده و نتیجه ثبت در تقویم فرق بذار و شواهد هرکدوم رو بنویس.»
- نتیجههای بحثبرانگیز رو دستی مرور کنید. اگر فقط یک شبیهساز پاسخ مثبت داده، پیش از استفاده واقعی درباره یک آزمون کامل تصمیم بگیرید.
سوالات متداول
منبع
ساخته Rob Strayer. نام اصلی: voice-agent-evaluation، منتشرشده در GitHub با مجوز MIT.
مشاهده در GitHub