بررسی تازگی دادهها با هوش مصنوعی
قبل از استفاده از یک جدول برای گزارش، ببینید آخرین داده چه زمانی رسیده، تعداد ردیفهای روزهای اخیر چطور بوده و تاخیر با برنامه بهروزرسانی جور درمیآد یا نه.
بررسی تازگی دادهها با هوش مصنوعی وقتی به درد میخوره که عدد روی داشبورد عجیب به نظر میرسه و هنوز معلوم نیست فروش کم شده یا داده امروز نرسیده. اسکیل checking-freshness سراغ خود جدول میره، ستون زمانی مناسب رو پیدا میکنه و فاصله آخرین مقدار با زمان فعلی رو حساب میکنه. تعداد ردیفهای روزهای اخیر هم بهتون کمک میکنه بفهمید چه چیزی با روزهای عادی فرق کرده.
تاریخ خرید با زمان وارد شدن خرید به انبار داده یکی نیست. اگر فقط سفارشهای هفته قبل امروز بارگذاری شده باشن، این دو ستون جواب متفاوتی میدن. ایجنتتون میتونه نام ستون و نوع زمانی رو که سنجیده در گزارش بیاره. اگر جدول قدیمی به نظر بیاد و جریان ورودی اون در Airflow اجرا بشه، میشه وضعیت آخرین اجرا رو هم بررسی کرد.
کاربردها
- برای زمان آخرین بهروزرسانی، بین تاریخ رویداد و تاریخ ورود داده انتخاب کنید.
- تعداد ردیفهای روزانه رو کنار هم بذارید تا یک روز جاافتاده پیدا بشه.
- پیش از گزارش فروش، ببینید داده امروز چه ساعتی به جدول رسیده.
- برای بررسی تاخیر، زمان آخرین داده رو با برنامه واقعی بارگذاری مقایسه کنید.
- اگر جریان داده متوقف شده، وضعیت آخرین اجرای Airflow رو کنار نتیجه جدول بذارید.
نصب و استفاده
- اسکیل رو در ایجنتتون نصب کنید. دسترسی خوندن جدول و ابزار اجرای SQL لازم دارید. برای دیدن وضعیت خط داده هم به حساب مجاز Airflow و پنل یا ابزار خط فرمانش نیاز دارید.
- مثلا بگید «جدول سفارشها باید هر صبح تازه بشه. آخرین زمان ورود داده و تعداد ردیف هر روز هفته اخیر رو ببین و بگو برای گزارش امروز آماده است یا نه.»
- در پاسخ، اسم ستون زمانی، زمان آخرین داده و برنامه بارگذاری رو با هم چک کنید. برای جدول هفتگی، یک روز فاصله لزوما نشونه خرابی نیست.
سوالات متداول
منبع
ساخته Astronomer. نام اصلی: checking-freshness، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub