برنامهریزی اجرای مدل در SageMaker با هوش مصنوعی
مدل، شکل درخواستها و زمانی که کاربر میتونه برای جواب صبر کنه رو مشخص کنید. ایجنت چند روش میزبانی در SageMaker رو بررسی میکنه تا قبل از ساخت منبع هزینهدار تصمیم بگیرید.
برنامهریزی اجرای مدل در SageMaker با هوش مصنوعی از اینجا شروع میشه که مدل قراره چه جوابی رو با چه فاصلهای تحویل بده. برای یک ابزار داخل سایت، کاربر شاید همون لحظه منتظر پاسخه. برای دستهای از عکسها که قراره شب پردازش بشن، رسیدن نتیجه در یک صف قابل قبوله. hf-cloud-sagemaker-deployment-planner همین تفاوتها رو کنار نوع مدل میذاره تا روش مناسبتری برای میزبانی پیشنهاد بده.
به جای اینکه از اول اسم یک دستگاه گرون رو انتخاب کنید، میتونید شناسه مدل یا محل فایلش، تعداد تقریبی درخواستها و حساسیتتون به هزینه رو بگید. ایجنت میتونه سهمیه موجود منطقه رو هم بررسی کنه تا پیشنهادش به ظرفیتی وابسته نباشه که حساب شما بهش دسترسی نداره. تصمیم درباره ساخت سرویس بعد از دیدن این پیشنهاد و با اجازه شما گرفته میشه.
کاربردها
- انتخاب روش میزبانی مدل با توجه به زمان انتظار کاربر
- مقایسه اجرای زنده و پردازش صفی برای درخواستهای طولانی
- بررسی سهمیه SageMaker در منطقهای که حساب تیم استفاده میکنه
- سنجش هزینه زمان بیکاری برای مدلهایی که کم درخواست میگیرن
- آماده کردن تصمیم استقرار پیش از رفتن سراغ ابزار ساخت سرویس
نصب و استفاده
- اسکیل رو نصب کنید. برای بررسی سهمیه، ابزار رسمی AWS CLI و حساب مجاز با منطقه کاری درست لازمه. ساخت بعدی سرویس میتونه هزینه داشته باشه.
- مثلا بگید «این مدل هر شب عکسهای تازه فروشگاه رو پردازش میکنه. جواب فوری لازم نداریم. برای این میزان کار چه روش میزبانی پیشنهاد میکنید؟»
- زمان انتظار، هزینه بیکار موندن و سهمیه رو کنار هم ببینید. اگر انتخابتون روشن شد، برای رفتن از برنامهریزی به ساخت منابع تصمیم جدا بگیرید.
سوالات متداول
منبع
ساخته Hugging Face. نام اصلی: hf-cloud-sagemaker-deployment-planner، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub