تست کیفیت داده با هوش مصنوعی در GX
قواعدی رو که برای فایل یا جدولتون دارید به تست تبدیل کنید و برای هر مورد جدا ببینید داده رد شده یا خود تست نتونسته اجرا بشه.
تست کیفیت داده با هوش مصنوعی در GX وقتی به درد میخوره که میدونید چه چیزی در داده باید درست باشه، ولی اسم تست مربوط بهش رو نمیدونید. مثلا در فایل هزینههای یک پروژه انتظار دارید مبلغ خالی نباشه و شناسه پرداخت تکرار نشه. اسکیل gx-configure-expectations دنبال قاعده مناسب در نسخه نصبشده Great Expectations میگرده و همون چیزی رو بررسی میکنه که شما درخواست کردید.
فرقش رو وقتی میبینید که یک بررسی جواب روشنی نداره. گاهی خود داده شرط شما رو رد میکنه، مثلا دو پرداخت با یک شناسه ثبت شدن. گاهی هم نوع ستون طوریه که محاسبه اصلا انجام نشده. ایجنت این دو حالت رو جدا گزارش میده تا بدونید باید سراغ داده برید یا تنظیمات تست رو عوض کنید. برای اجرای دوباره، مجموعه قواعد میتونه در پروژه شما باقی بمونه.
کاربردها
- برای پیدا کردن شناسه تکراری در فایل هزینهها، شرط یکتا بودن رو روی ستون درست تعریف کنید.
- برای بررسی مقدار خالی مشخص کنید خالی بودن کدوم ستون واقعا مانع استفاده از فایل میشه.
- اگر کنترل مبلغ منفی مدنظرتونه، اول معلوم کنید پرداخت برگشتی هم در همین ستون ثبت میشه یا نه.
- با گزارش نتیجه تست ببینید کدوم قاعده رد شده و کدوم قاعده به خاطر مشکل محاسبه نتیجه نداده.
- وقتی تیم تعریفش رو تغییر میده، درخواست تازه رو با قاعده فعلی مقایسه کنید تا دو تست ناسازگار نداشته باشید.
نصب و استفاده
- نسخه فعلی GX Core رو در محیط پایتون و اسکیل رو در ایجنت سازگار آماده کنید. برای شروع باید از قبل یک مجموعه داده قابل خوندن در GX داشته باشید.
- بگید «شناسه پرداخت نباید تکراری باشه و مبلغ هر ردیف باید ثبت شده باشه. هر کدوم رو جدا بررسی کن».
- جواب هر تست رو ببینید و اگر قرار شده تنظیمات باقی بمونن، محل ذخیره مجموعه تستها رو مشخص کنید.
سوالات متداول
منبع
ساخته Great Expectations. نام اصلی: gx-configure-expectations، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub