تبدیل شدن به یک مهندس داده مسلط بر مفاهیم - Become a Data Engineer: Mastering the Concepts

با تسلط بر مهارت های اصلی مورد نیاز برای استفاده از داده ها برای کسب و کار خود، با اطمینان به داده های بزرگ نزدیک شوید. این دوره اصول مهندسی داده، طراحی سیستم، تجزیه و تحلیل و هوش تجاری را پوشش می دهد. بن سالینز، کارشناس علوم داده، نحوه جمع‌آوری و سازماندهی داده‌های خود را توضیح می‌دهد تا بتوانید نتایجی را ارائه دهید که سازمان شما می‌تواند از آن استفاده کند. بن با بررسی اکوسیستم داده مدرن و چگونگی ارتباط آن با اجرای یک هاب داده هوشمند و کارآمد شروع می کند. سپس، او به شما نشان می دهد که چگونه وظایف اصلی مربوط به مدیریت، بارگذاری، استخراج و تبدیل داده ها را انجام دهید. او همچنین شما را از طریق مرحله بندی، نمایه سازی، پاکسازی و انتقال داده ها راهنمایی می کند. در طول مسیر، او توصیه‌های عملی را ارائه می‌دهد که برای کارشناسان داده در سراسر یک سازمان - تحلیلگران، مهندسان، دانشمندان، مدل‌سازان، و غیره قابل استفاده است. اهداف یادگیری کار با سیستم ها و طرحواره ها مدیریت یک خط لوله داده خوب راه اندازی یک محیط بارگذاری و پروفایل کردن داده ها کیفیت تست افزودن انواع داده ها مدیریت مقادیر گمشده و اعضای استنتاج شده انجام جستجوی داده های اصلی در حال بارگیری طرحواره ها و جداول ایجاد نماها

شما ممکن است به عنوان یک کاربر جدید دنیای داده، شنیده باشید که بسیاری از افراد با هیجان درباره NoSQL و همه کارهایی که می‌تواند انجام دهد صحبت می‌کنند. از نظر انعطاف پذیری، سرعت عالی است و کار با آن آسان است. فوق العاده مقیاس پذیر است، بنابراین با رشد وب سایت‌ها و برنامه‌ها می‌تواند تعداد بیشتری از کاربران را در خود جای دهد. اما آیا جایگزین SQL می‌شود؟ آیا پایگاه داده‌های رابطه‌ای را منسوخ می‌کند؟ در این دوره مربی Mel McGee دقیقاً توضیح می‌دهد که NoSQL دقیقاً چیست، نکات مثبت و منفی، و سودهایی که هنگام استفاده از NoSQL ایجاد خواهید کرد. او رویکردی سطح بالا را انجام می‌دهد بدون اینکه در جزئیات هر یک از زبانها یا راه حلهای پرس و جو NoSQL وارد شود، بنابراین اگر شما یک توسعه دهنده هستید که به دنبال یک تصویر بزرگتر از NoSQL هستید، یا یک کارآفرین می‌خواهید گزینه‌های محصول شما را جستجو کند، یا فقط ساده است در مورد پایگاه داده‌های غیر رابطه‌ای کنجکاو هستید، این دوره برای شما مناسب است.

مهندسی داده، پایه و اساس تجزیه و تحلیل و کاربردهای علم داده در دنیای جدید داده های بزرگ است. مهندسی داده نیازمند ترکیب چندین فناوری داده بزرگ برای ساخت خط لوله داده و شبکه هایی برای جریان، پردازش و ذخیره داده ها است. این دوره بر ایجاد راه حل های کامل تمرکز می کند که Apache Spark را با سایر ابزارهای Big Data ترکیب می کند تا خطوط لوله داده به انتها ایجاد کند. مربی Kumaran Ponnambalam با تعریف مهندسی داده، عملکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران می گوید چگونه قابلیت های Spark مانند پردازش موازی، برنامه های اجرایی، گزینه های مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) کار می کند. او شما را با موارد و فرایندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش در زمان واقعی آشنا می کند. پس از گذراندن چندین شیوه مفید مفید، کومانان با یک پروژه تمرینی به پایان می رسد.

حالت دسته ای، عملیات مربوط به داده ها را به منظور کاهش بار روی شبکه ها یکپارچه می کند. حالت دسته‌ای به معماران نرم‌افزار کمک می‌کند تا برنامه‌های کلان داده بسازند که تحت شرایط دنیای واقعی به آرامی و کارآمد عمل کنند. در این دوره آموزشی، می‌توانید با موارد استفاده و بهترین روش‌ها برای معماری برنامه‌های حالت دسته‌ای با استفاده از فناوری‌هایی مانند Hive و Apache Spark آشنا شوید. هیچ کدنویسی در کار نیست. در عوض خواهید دید که چگونه ابزارهای کلان داده می توانند به حل برخی از پیچیده ترین چالش ها برای کسب و کارهایی که حجم زیادی از داده ها را تولید، ذخیره و تجزیه و تحلیل می کنند، کمک کند. موارد استفاده از صنایع مختلفی از جمله تجارت الکترونیک و فناوری اطلاعات استخراج شده است. مربی کوماران پونامبالام نحوه تجزیه و تحلیل یک مسئله، ترسیم طرح کلی معماری، انتخاب فناوری های مناسب و نهایی کردن راه حل را نشان می دهد. پس از هر مورد استفاده، او بهترین شیوه های مرتبط را برای اکتساب داده، حمل و نقل، پردازش، ذخیره سازی و خدمات بررسی می کند. هر درس سرشار از تکنیک ها و بینش های عملی از توسعه دهنده ای است که مزایا و کاستی های این فناوری ها را از نزدیک تجربه کرده است. اهداف یادگیری اجزای یک برنامه داده بزرگ استراتژی های توسعه برنامه داده های بزرگ موارد استفاده: بایگانی گزارش های حسابرسی و انجام تجزیه و تحلیل مشتری گزینه های فناوری طراحی راه حل ها بهترین شیوه ها

سیستم‌های بلادرنگ زمان پاسخگویی را تضمین می‌کنند که می‌تواند چند ثانیه از ماشه فاصله داشته باشد. به این معنی که وقتی کاربر روی دکمه ای کلیک می کند، برنامه شما بهتر و سریع پاسخ می دهد. معماري برنامه‌ها تحت محدوديت‌هاي بلادرنگ چالش بزرگ‌تري است هنگامي كه با داده‌هاي بزرگ سروكار داريد. تأخیر بیش از حد می تواند برای شما هزینه داشته باشد، از نظر منابع سیستم مصرف شده و مشتریان از دست رفته. خوشبختانه، فناوری داده‌های بزرگ و معماری کارآمد می‌توانند پاسخگویی در زمان واقعی کسب‌وکار شما را فراهم کنند. در این دوره آموزشی می‌توانید با موارد استفاده و بهترین روش‌ها برای معماری برنامه‌های بلادرنگ با فناوری‌هایی مانند Kafka، Hazelcast و Apache Spark آشنا شوید. هیچ کدنویسی در کار نیست. در عوض خواهید دید که چگونه ابزارهای کلان داده می توانند به حل برخی از پیچیده ترین چالش ها برای کسب و کارهایی که حجم زیادی از داده ها را تولید، ذخیره و تجزیه و تحلیل می کنند، کمک کند. موارد استفاده از صنایع مختلفی از جمله تجارت الکترونیک و فناوری اطلاعات استخراج شده است. مربی کوماران پونامبالام نحوه تجزیه و تحلیل یک مسئله، ترسیم طرح کلی معماری، انتخاب فناوری های مناسب و نهایی کردن راه حل را نشان می دهد. پس از هر مورد استفاده، او بهترین شیوه‌های مرتبط را برای پخش بلادرنگ، تجزیه و تحلیل پیش‌بینی‌کننده، پردازش موازی و مدیریت خط لوله بررسی می‌کند. هر درس سرشار از تکنیک ها و بینش های عملی از توسعه دهنده ای است که مزایا و کاستی های این فناوری ها را از نزدیک تجربه کرده است. اهداف یادگیری اجزای یک برنامه داده بزرگ استراتژی های توسعه برنامه داده های بزرگ موارد استفاده: تشخیص تقلب و توصیه های محصول گزینه های فناوری طراحی راه حل ها بهترین شیوه ها

آیا برای به دست آوردن داده های مورد نیاز خود به فناوری اطلاعات متکی هستید؟ آیا اغلب در صف انتظار برای داده‌ها مانده‌اید و آرزو می‌کنید که خودتان آن‌ها را بازیابی کنید؟ در این دوره یاد بگیرید که چگونه با نوشتن کمی کد SQL به داده های مورد نظر خود دست یابید. شما فقط نمی‌توانید داده‌ها را از پایگاه داده بیرون بکشید، بلکه می‌توانید آن‌ها را دستکاری کنید - آن‌ها را ادغام کنید، گروه‌بندی کنید و دوباره برچسب بزنید تا فقط گزارشی را که می‌خواهید دریافت کنید. به اما ساندرز بپیوندید تا نحوه نوشتن پرس‌و‌جوهای ساده SQL را برای گزارش‌دهی و تجزیه و تحلیل داده‌ها با استفاده از یک پایگاه داده آنلاین در دسترس عموم نشان دهد. با استفاده از توابع داخلی SQL برای قالب‌بندی یا محاسبه نتایج، نحوه فیلتر کردن، گروه‌بندی و مرتب‌سازی داده‌ها را بیاموزید. نحوه انجام پرس و جوهای پیچیده تر، مانند اتصال داده ها از جداول پایگاه داده مختلف را کشف کنید. آخرین اما نه کم اهمیت، او نماها، رویه ها، توابع و متغیرها را معرفی می کند.

12 تکنیک SQL ضروری بن سالینز را برای متخصصان علوم داده - مهندسان، DevOps، استخراج کنندگان داده، برنامه نویسان و سایر متخصصان سیستم، دریافت کنید. نکات بن بر کاربردهای عملی پرس و جوهای SQL برای تجزیه و تحلیل داده ها متمرکز است. نحوه بازیابی داده‌ها، پیوستن به جداول، محاسبه میانگین‌ها و رتبه‌بندی‌ها، کار با تاریخ و زمان، استفاده از توابع پنجره، جمع‌آوری و فیلتر کردن داده‌ها و موارد دیگر را بیاموزید. هر نکته کوتاه، مرتبط و به‌روز با بهترین شیوه‌های صنعت کنونی است، که این دوره آموزشی عالی برای تحلیلگران پرمشغله‌ای است که معمولاً برای پیدا کردن زمان برای ایجاد مهارت‌های خود تلاش می‌کنند.

پایگاه های داده NoSQL می توانند داده های غیر مرتبط را در مقیاس بسیار بزرگ ذخیره کرده و مشکلاتی را حل کنند که پایگاه های داده معمولی از عهده آن بر نمی آیند: نمایه سازی کل اینترنت ، پیش بینی رفتار مشترکان یا هدف قرار دادن تبلیغات در بستری به بزرگی Facebook. اما با بیش از 150 نوع پایگاه داده NoSQL ، برای یک حرفه ای SQL می تواند سخت باشد که بداند از کجا شروع کند. در این دوره ، لین لانگیت این انواع را به چند دسته اصلی تقسیم می کند و نشان می دهد که چگونه می توان با راهکارهای آسان پیکربندی ابر پایگاه داده NoSQL خود را راه اندازی کرد. بیاموزید که چگونه داده ها را اضافه و پرس و جو کنید ، قضیه CAP را با NoSQL اعمال کنید و روندهای NoSQL کلیدی را مانند چندین قابلیت و گزینه های NoSQL دریاچه داده اعمال کنید. به علاوه ، خدمات پایگاه داده AWS و GCP NoSQL مانند DynamoDB ، ElastiCache و Bigtable را کاوش کنید.

بسیاری از سازمان ها برای ذخیره حجم وسیعی از داده های پیچیده به پایگاه های داده NoSQL روی می آورند و این امر باعث افزایش نیاز دانشمندان و تحلیلگران داده به درک ذخیره داده های غیر ارتباطی می شود. اگر شما یک دانشمند داده یا تحلیلگر کسب و کار هستید و باید با NoSQL کار کنید، این دوره برای شما مناسب است. با تفاوت بین پایگاه های داده رابطه ای و NoSQL آشنا شوید، انواع پایگاه های داده NoSQL را مرور کرده و نحوه انجام وظایف رایج علم داده، از جمله آماده سازی داده ها، اکتشاف و ایجاد و کاربرد مدل ها را مشاهده کنید. این دوره با مقدمه ای بر NoSQL آغاز می شود و سپس به بررسی مشخصات پایگاه داده های سند، ستون گسترده و نمودار می پردازد. جزئیات کلیدی برای انجام آماده سازی، اکتشاف و استخراج داده ها برای هر نوع پایگاه داده NoSQL را بیاموزید. موارد موردی را که نحوه استفاده از پایگاه داده های مختلف NoSQL با ابزارهای رایج علم داده از جمله پایگاه داده اسناد MongoDB، پایگاه داده ستون گسترده Cassandra و پایگاه داده نمودار Neo4j را مرور می کند. اهداف یادگیری NoSQL در مقایسه با پایگاه های داده سنتی رابطه ای انجام وظایف رایج علم داده آماده سازی داده ها با پایگاه داده های اسناد دستکاری داده ها در NoSQL آماده سازی، کاوش، استخراج و مدل سازی کار با پایگاه داده های سند، ستون گسترده و نمودار مرور مطالعات موردی با استفاده از MongoDB، Cassandra و Neo4j