کنترل کیفیت تحلیل داده با هوش مصنوعی
پیش از تحویل گزارش، داده خروجی رو برای ردیف تکراری، مقدار خالی و عددهای دور از انتظار بررسی کنید. بعد منطق و نوشته گزارش رو هم جدا مرور کنید.
کنترل کیفیت تحلیل داده با هوش مصنوعی وقتی به درد میخوره که گزارش ظاهرا آمادهست ولی هنوز معلوم نیست کسی رقمها و تعریفها رو مستقل بررسی کرده یا نه. اسکیل analysis-qa-checklist یک ابزار محلی برای بررسی فایل داره و در کنارش برای بخشهایی که نیاز به قضاوت دارن، مثل منطق محاسبه، قالب بازبینی میده.
فرض کنید جدول فروش یک ردیف رو دوبار حساب کرده. شاید جمع کل هنوز معقول به نظر بیاد و کسی از روی نمودار متوجه نشه. ابزار پایتون میتونه ردیفهای تکراری رو علامت بزنه. اما اینکه دو ردیف واقعا یکی هستن یا دو سفارش مستقل با مقادیر مشابه، به معنای داده مربوطه. این قسمت باید با کسی بررسی بشه که منبع رو میشناسه.
کاربردها
- برای بررسی فایل CSV، تعداد ردیفها و خالی بودن فایل رو پیش از تفسیر خروجی چک کنید.
- در شناسایی ردیف تکراری، تعداد و سهم موردهای علامتخورده رو ببینید و دلیل تکرار رو جدا بررسی کنید.
- در کنترل مقادیر خالی، ستونهایی رو پیدا کنید که کمبود داده در اونها میتونه معنی نتیجه رو عوض کنه.
- برای چک لیست تحویل گزارش، تاریخهای بیرون از انتظار و مقدارهای عددی نامعتبر رو کنار بررسی دستی منطق ثبت کنید.
- برای همکار بازبین روشن کنید کدوم مورد رفع شده، کدوم مورد قابل توضیحه و چه چیزی باید تحویل رو متوقف کنه.
نصب و استفاده
- پوشه اسکیل رو در ایجنت سازگار نصب کنید. برای ابزار همراه پایتون ۳ و pandas لازم دارید. فایل Parquet به موتور خواندن سازگار هم نیاز داره.
- بگید «اول همین فایل خروجی رو محلی بررسی کن. ردیفهای تکراری و مقدارهای خالی رو خلاصه کن و بنویس کدوم هشدار به نظر صاحب داده نیاز داره.»
- نتیجه بررسی خودکار رو کنار چکلیست دستی بذارید. پیش از تایید نهایی، عددهای حساس و نتیجهگیری متن رو با تعریف اصلی گزارش بسنجید.
سوالات متداول
منبع
ساخته Nimrod Fisher. نام اصلی: analysis-qa-checklist، منتشرشده در GitHub با مجوز MIT.
مشاهده در GitHub