اجرای مدل Hugging Face روی کامپیوتر با ایجنت
یک مدل GGUF متناسب با حافظه و نوع دستگاه پیدا کنید. ایجنت میتونه اسم دقیق فایل رو بررسی کنه و برای اجرای مدل با llama.cpp در کامپیوتر خودتون راهنماییتون کنه.
اجرای مدل Hugging Face روی کامپیوتر با ایجنت وقتی راحتتر میشه که بدونید دقیقا کدوم فایل رو باید بگیرید. در صفحه بعضی مدلها چند نسخه با اسمهای نزدیک به هم هست. huggingface-local-models اول مدلهای سازگار با llama.cpp رو پیدا میکنه، بعد اسم واقعی فایل GGUF رو بررسی میکنه تا دستوری که بهتون میده به فایلی اشاره کنه که واقعا وجود داره.
اگر حافظه محدوده، نسخه کمحجمتر میتونه برای شروع مناسب باشه. برای دستگاهی با حافظه بیشتر شاید نسخه دقیقتری ارزش امتحان داشته باشه. میتونید مقدار حافظه، نوع پردازنده و اینکه فقط یک پاسخ آزمایشی میخواید یا سرویس محلی برای یک برنامه لازم دارید رو به ایجنت بگید. بعد از آماده شدن فایلها، آزمون کوتاه روی دستگاه نشون میده انتخاب اولیه در عمل چقدر با نیازتون هماهنگه.
کاربردها
- پیدا کردن مدل GGUF سازگار با llama.cpp
- انتخاب نسخه کمحجم مدل برای دستگاه با حافظه محدود
- بررسی اسم فایل مدل پیش از شروع دریافت وزنها
- راهاندازی سرور محلی برای وصل کردن برنامه به مدل روی همون دستگاه
- تست اجرای مدل با یک درخواست کوتاه بعد از آماده شدن فایلها
نصب و استفاده
- اسکیل و نسخه رسمی llama.cpp رو با مدیر بسته مناسب دستگاه نصب کنید. برای مدل محدود یا خصوصی، حساب Hugging Face با دسترسی لازم هم میخواید.
- بگید «برای این دستگاه با این مقدار حافظه یک نسخه GGUF از مدل مورد نظر پیدا کنید. اول اسم فایل و اندازهاش رو نشون بدید، بعد دستور اجرای محلی رو آماده کنید.»
- فضای دیسک رو بررسی کنید، نسخه انتخابی رو بگیرید و یک درخواست کوتاه امتحان کنید. اگر مدل چند فایل کمکی داره، چک کنید که فایل اصلی رو برای اجرا انتخاب کردید.
سوالات متداول
منبع
ساخته Hugging Face. نام اصلی: huggingface-local-models، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub