اتصال داده به Great Expectations با هوش مصنوعی
یک فایل، جدول یا دیتافریم رو برای کنترل کیفیت آماده کنید و با خوندن یک نمونه مطمین بشید دادهای که انتخاب کردید واقعا باز میشه.
اتصال داده به Great Expectations با هوش مصنوعی کمک میکنه قبل از نوشتن اولین تست بفهمید دقیقا چه دادهای رو دارید بررسی میکنید. فرض کنید هر ماه یک فایل از تعداد موجودی انبار میگیرید. اسم فایلها شبیه همه، ولی برای بررسی مهر فقط یکیشون رو میخواید. اسکیل gx-configure-data-source مسیر فایلها، مجموعهای که به کارتون مربوطه و روشی که ماه رو باهاش انتخاب میکنید جداگانه تنظیم میکنه.
بعد ایجنت چند ردیف رو واقعا میخونه. این مرحله معلوم میکنه که مثلا پوشه درست انتخاب شده ولی الگوی اسم فایلها با فایل این ماه نمیخونه. اگر تنظیمات فقط در حافظه جلسه باشن، قبل از ساختن پروژه روی دیسک درباره ذخیره کردنشون از شما میپرسه. برای دیتابیس هم میتونید اسم متغیر محیطی رمز رو بدید و خود رمز رو در محیط کاری نگه دارید.
کاربردها
- برای خواندن فایل CSV مشخص کنید هر فایل نماینده یک ماهه یا همه فایلها باید با هم خونده بشن.
- هنگام اتصال به دیتابیس، جدول و ستون تاریخ مناسب برای تقسیم داده به دورههای مختلف رو مشخص کنید.
- برای انتخاب نمونه داده از یک دیتافریم آماده استفاده کنید و مسیر جداگانهای برای فایل نسازید.
- با بررسی دسترسی داده ببینید ایجنت واقعا میتونه از مجموعه انتخابی بخونه یا فقط اسمش در تنظیمات هست.
- وقتی چند منبع از قبل دارید، ببینید کدوم تنظیمات دوباره استفاده شده و کدوم مورد تازه ساخته شده.
نصب و استفاده
- محیط پایتون، نسخه فعلی GX Core و اسکیل رو در ایجنت سازگار آماده کنید. برای دیتابیس هم دسترسی مجاز و درایور مربوط به همون منبع لازمه.
- بگید «فایلهای موجودی رو بر اساس ماه جدا کن و نشون بده فایل مهر رو خوندی». نمونهای انتخاب کنید که دیدن ردیفهاش در جلسه مجاز باشه.
- مسیر و نتیجه خوندن رو بررسی کنید. اگر میخواید دفعه بعد همین تعریف در دسترس باشه، محل ذخیره پروژه رو تایید کنید.
سوالات متداول
منبع
ساخته Great Expectations. نام اصلی: gx-configure-data-source، منتشرشده در GitHub با مجوز Apache-2.0.
مشاهده در GitHub