انتخاب روش آموزش مدل با ایجنت در TRL
شکل دادههای آموزشی رو به ایجنت بدید تا روش مناسب در TRL رو پیدا کنه. برای جفت پاسخها، مثالهای پرسش و جواب یا دادههایی با امتیاز، تنظیمات متفاوتی لازم دارید.
انتخاب روش آموزش مدل با ایجنت در TRL از اینجا شروع میشه که ببینید برای هر نمونه چه اطلاعاتی دارید. مثلا در یک مجموعه برای هر سوال فقط یک جواب درست ثبت شده، ولی در مجموعه دیگری دو جواب دارید و ویراستار یکی رو بهتر دونسته. trl-training راهنمایی میکنه این دو شکل داده به چه نوع آموزشی میخورن و برای آماده کردن کد باید کدوم ستونها رو در نظر بگیرید.
برای شروع میتونید ساختار چند ردیف ساختگی با همون نام ستونها رو به ایجنت بدید. اینطوری پیش از مصرف وقت پردازش روشن میشه که داده برای روش انتخابی مناسبه یا یک علامت مثل پاسخ ترجیحدادهشده کم داره. بعد از انتخاب روش، تنظیمهایی مثل طول متن، تعداد پاسخها و حافظه مورد نیاز رو با مدل و دستگاهی که دارید هماهنگ کنید.
کاربردها
- انتخاب مربی TRL از روی ساختار دادههای آموزش
- بررسی قالب داده آموزشی برای متن، گفتوگو یا جفت پاسخ
- تنظیم آموزش با پاسخ ترجیحی وقتی دو جواب رتبهبندیشده دارید
- انتخاب طول متن آموزش با توجه به طول معمول مثالها
- بررسی اندازه دسته برای روشی که چند پاسخ به هر درخواست تولید میکنه
نصب و استفاده
- اسکیل و کتابخانه رسمی TRL رو در محیط Python نصب کنید و برای مدل و داده منتخب دسترسی و سختافزار لازم رو داشته باشید. برای قطع آمار مصرف کتابخانه، تنظیم HF_HUB_DISABLE_TELEMETRY رو پیش از اجرا روی یک بذارید.
- بگید «برای هر پرسش دو پاسخ و انتخاب ویراستار رو داریم. بر اساس این ساختار، مربی مناسب و نام ستونهای ورودی رو پیشنهاد بدید.»
- تنظیم پیشنهادی و مقصد ذخیره نتیجه رو بررسی کنید. قبل از شروع یک اجرای پرهزینه، روی بخش کوچکی از داده مجاز ببینید که قالب مورد انتظار واقعا پذیرفته میشه.
سوالات متداول
منبع
ساخته Hugging Face. نام اصلی: trl-training، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub