بررسی اثر تغییر جدول با هوش مصنوعی
پیش از تغییر یک جدول یا جریان Airflow، ببینید کدوم گزارشها، نماها یا پردازشهای بعدی ازش میخونن و اول باید با کدوم تیم هماهنگ کنید.
بررسی اثر تغییر جدول با هوش مصنوعی کمک میکنه قبل از حذف یا عوض کردن یک ستون بفهمید چه کسی بعداً جای خالیش رو میبینه. اسکیل tracing-downstream-lineage از جدول یا جریان موردنظر شروع میکنه و سراغ کد کارهایی میره که خروجی اون رو میخونن. بعد دنبال مرحلههای بعدی میگرده، مثلا جدولی که از سفارش ساخته میشه و گزارشی که از همون جدول عدد میگیره.
برای تصمیم عملی، این تفاوت مهمه که یک وابستگی مستقیمه یا چند مرحله با تغییر شما فاصله داره. ممکنه یک گزارش روزانه مدیرها تحت تاثیر باشه و یک آزمایش قدیمی هم هنوز به همون جدول اشاره کنه. میتونید نتیجه رو با اهمیت و شواهد هر مورد مرتب کنید. داشبوردی که فقط اسمش شبیه جدول منبعه به بررسی بیشتری نیاز داره تا گزارشی که درخواست خوندن دادهاش در کد دیده شده.
کاربردها
- برای وابستگی جدول، جریانهایی رو پیدا کنید که مستقیم از اون داده میخونن.
- در نقشه وابستگی، مصرفکنندههای مستقیم رو از گزارشهایی که چند مرحله بعد ساخته میشن جدا کنید.
- قبل از تغییر ستون، نماهای وابسته پایگاه داده رو بررسی کنید.
- برای گزارش مدیریتی، مسیر رسیدن داده به داشبورد رو تا جایی که شاهد دارید بنویسید.
- برای تغییر ساختار، فهرست کارهای حساس و ترتیب بررسی یا جابهجاییشون رو آماده کنید.
نصب و استفاده
- پوشه اسکیل رو در ایجنتتون نصب کنید. برای خوندن تعریف جریانها، دسترسی Airflow و ابزار خط فرمان af لازم دارید. برای بررسی نماها هم باید بتونید اطلاعات ساختار انبار داده رو بخونید.
- مثلا بگید «اگر فیلد مبلغ جدول سفارشها عوض بشه، چه گزارشهایی ممکنه اثر بگیرن؟ مسیر هر وابستگی رو با جایی که پیداش کردی بنویس.»
- شاهدها رو مرور کنید و درباره موارد نامشخص از صاحب گزارش بپرسید. قبل از اعمال تغییر، ترتیب کارهای وابسته رو با تیم هماهنگ کنید.
سوالات متداول
منبع
ساخته Astronomer. نام اصلی: tracing-downstream-lineage، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub