دوره آموزشی تحلیل اکتشافی داده با کمک هوش مصنوعی

تبدیل یک فایل خام داده به گزارشی که مدیران و ذی‌نفعان واقعاً بتوانند از آن برای تصمیم‌گیری استفاده کنند، فقط به ساخت چند نمودار محدود نمی‌شود. باید بدانید چه چیزی را در داده جست‌وجو می‌کنید، مشکلات داده را بشناسید، فرضیه‌ها را آزمایش کنید و در نهایت به یک نتیجه قابل دفاع برسید.

در این دوره، Mo Chen یک فرایند پنج‌مرحله‌ای برای انجام Exploratory Data Analysis یا EDA با کمک هوش مصنوعی آموزش می‌دهد. ابتدا یاد می‌گیرید چگونه زمینه و هدف تحلیل را برای AI مشخص کنید و توضیح دهید داده چه اطلاعاتی دارد و چه چیزهایی را نمی‌توان از آن نتیجه گرفت. سپس داده را از نظر کیفیت، توزیع‌ها و ناهنجاری‌ها بررسی می‌کنید.

در مرحله بعد، بر اساس اطلاعات به‌دست‌آمده فرضیه‌های تحلیلی ایجاد کرده و آن‌ها را روی بخش‌های مختلف داده آزمایش می‌کنید. یکی از نکات مهم دوره، تشخیص تفاوت میان یک الگوی واقعی و الگویی است که صرفاً به‌دلیل تصادف یا خطای آماری در داده دیده می‌شود.

در نهایت، یافته‌های اصلی را به یک پیام روشن و صادقانه تبدیل می‌کنید و نمودارهایی می‌سازید که از این نتیجه پشتیبانی کنند. خروجی نهایی دوره، یک گزارش بصری یک‌صفحه‌ای از EDA است که می‌تواند برای ارائه به مدیران و ذی‌نفعان مورد استفاده قرار گیرد.

اهداف یادگیری
هدف و محدوده یک تحلیل اکتشافی را به شکلی مشخص و قابل اندازه‌گیری تعریف کنید.
از AI برای بررسی اولیه کیفیت داده‌ها، توزیع‌ها و Anomalyها استفاده کنید.
مشکلات کیفیت داده را پیش از نتیجه‌گیری از تحلیل شناسایی کنید.
بر اساس نتایج Data Profiling، فرضیه‌های تحلیلی ایجاد کنید.
فرضیه‌ها را روی بخش‌های مختلف داده آزمایش و نتایج را مقایسه کنید.
تفاوت میان الگوهای واقعی و Statistical Artifacts را تشخیص دهید.
محدودیت‌های Promptهای عمومی در تحلیل داده را شناسایی کنید.
یافته‌های تحلیلی را به یک Headline روشن، دقیق و قابل دفاع تبدیل کنید.
نمودارهای مناسب برای پشتیبانی از یافته‌های اصلی انتخاب و ایجاد کنید.
یک گزارش بصری یک‌صفحه‌ای از EDA با استفاده از یک Design Spec قابل استفاده مجدد تهیه کنید.