ساخت قالب Airflow با هوش مصنوعی
کاری رو که در چند جریان داده تکرار میشه یک بار با پایتون تعریف کنید و برای هر استفاده، جدول، برنامه اجرا یا تنظیمات متفاوت رو در YAML بدید.
ساخت قالب Airflow با هوش مصنوعی به درد تیمی میخوره که برای هر جدول تازه یک نسخه از همون جریان قبلی میسازه و چند خطش رو عوض میکنه. اسکیل blueprint به ایجنتتون کمک میکنه منطق مشترک رو در یک قالب پایتون نگه داره و متغیرهای هر اجرا رو بیرون از اون تعریف کنه. مثلا میشه نام جدول مبدا و مقصد برای هر انتقال جدا باشه، اما ترتیب کارها یک بار نوشته بشه.
قبل از اینکه Airflow جریان رو اجرا کنه، ابزار قالب میتونه بخشی از اشتباهها رو در تنظیمات پیدا کنه. اگر یک ورودی اجباری جا افتاده یا نام قالب درست نیست، راحتتر میشه فهمید مشکل از تعریف قالب بوده یا از فایل مربوط به همین جریان. برای تیمی که چند نفر فایلهای تنظیمات رو تغییر میدن، این جداسازی مرور تغییرها رو هم سادهتر میکنه.
کاربردها
- برای قالب جریان داده، فیلدهای اجباری و نوع مقدار هر ورودی رو تعریف کنید.
- با تنظیمات YAML، از یک قالب برای چند جدول یا چند زمانبندی استفاده کنید.
- برای گروه کارهای تکراری، منطق پایتون رو در یک جا نگه دارید.
- با بررسی قالب، ورودی جاافتاده، نام اشتباه یا متغیری رو که حل نشده پیدا کنید.
- برای استفاده مشترک تیمها، قالبهای پروژه رو در یک بسته قابل نصب مرتب کنید.
نصب و استفاده
- اسکیل رو در ایجنتتون نصب کنید. یک پروژه پایتون و Airflow و بسته رسمی airflow-blueprint لازم دارید. بسته رو با مدیر بسته پروژه اضافه کنید تا در همون محیطی باشه که جریان رو میخونه.
- مثلا بگید «برای انتقال روزانه سه جدول، یک قالب با ورودی مبدا و مقصد بساز. یک نمونه تنظیمات بنویس و بگو قبل از اجرا چطور ورودی ناقص رو پیدا کنم.»
- اول یک نمونه کوچک رو بررسی کنید و ببینید قالب در فهرست پروژه پیدا میشه. بعد فایل تنظیمات جریانهای دیگه رو بر همون اساس اضافه کنید.
سوالات متداول
منبع
ساخته Astronomer. نام اصلی: blueprint، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub