پیدا کردن منبع داده با هوش مصنوعی
از جدول یا عددی که در گزارش میبینید به عقب برگردید و بررسی کنید چه دادههایی واردش شدن، کجا تغییر کردن و کدوم قسمت مسیر هنوز معلوم نیست.
پیدا کردن منبع داده با هوش مصنوعی وقتی مهم میشه که دو تیم برای یک عدد جواب متفاوت دارن. مثلا گزارش فروش از درآمد خالص حرف میزنه، اما کسی نمیدونه تخفیف و مرجوعی دقیقا در کدوم مرحله کم شده. اسکیل tracing-upstream-lineage از جدول، ستون یا جریان Airflow شروع میکنه و تعریف کارهایی رو میخونه که اون خروجی رو ساختهان.
ایجنتتون میتونه نشون بده یک مقدار مستقیم از منبع اومده، با چند فیلد دیگه حساب شده یا بعد از گروهبندی ردیفها مقدار تازهای گرفته. اگر یک بخش از منطق در درخواست پویای پایگاه داده باشه یا اجازه خوندن تعریفش رو نداشته باشید، مسیر کامل معلوم نمیشه. همین که مرز بین مسیر تاییدشده و قسمت نامشخص روشن بمونه، برای ادامه بررسی با تیم داده ارزش داره.
کاربردها
- برای منبع یک ستون، فیلدهای ورودی و محاسبهای رو پیدا کنید که مقدار نهایی رو ساخته.
- در مسیر داده، جدولهای واسط رو تا رسیدن به پایگاه اصلی یا سرویس ورودی دنبال کنید.
- برای اختلاف گزارشها، مرحله فیلتر یا گروهبندی رو در دو مسیر مقایسه کنید.
- در نقشه جریان داده، اسم کار Airflow رو کنار جدولی که میسازه بذارید.
- برای منبعی که دیر میرسه، زمان آخرین داده و وضعیت اجرای قبلی رو جدا بررسی کنید.
نصب و استفاده
- اسکیل رو در ایجنتتون نصب کنید. دسترسی مجاز به کد جریانهای Airflow و ابزار خط فرمان af و در صورت نیاز به ساختار جدولها لازمه. راهنمای همراه تازگی داده برای بررسی زمان ورود کمک میکنه.
- مثلا بگید «از ستون درآمد خالص در جدول گزارش ماهانه شروع کن. نشون بده تخفیف از کجا میآد و جمع مبلغ در کدوم مرحله حساب میشه.»
- مسیر رو از مبدا به مقصد دوباره بخونید. هر جا فقط نام یک اتصال یا جدول معلومه، همون رو ثبت کنید و درباره منطق داخلش حدس نزنید.
سوالات متداول
منبع
ساخته Astronomer. نام اصلی: tracing-upstream-lineage، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub