دوره آموزشی مبانی مهندسی داده
1 ساعت 4 دقیقهمتوسط2021-02-17
مدرسین

Harshit Tyagi
Data Science Instructor and Mentor
جزئیات دوره
علم داده را میتوان به طور کلی به عنوان فرآیند مفیدسازی دادهها تعریف کرد و مهندسی دادهها یک بخش اصلی در چگونگی و چرایی آن است. اگر به علم داده مانند ماشین مسابقه فکر میکنید، مهندسان داده خدمه گودال هستند. آنها در حال رانندگی با ماشین نیستند، اما رانندگی را بسیار آسان میکنند. مهندسین داده اطمینان حاصل میکنند که جریان داده بدون مشکل کار میکند، سیستمها را رصد میکنند، مشکلات را پیش بینی میکنند و هر زمان مشکلی پیش آمد ، جریان داده را تعمیر میکنند. آنها دادهها را از چندین منبع استخراج و جمع آوری کرده و در یک پایگاه داده ، قابل جستجو میکنند. به طور خلاصه، مهندسان داده، زندگی دانشمندان داده را آسانتر میکنند.
در این دوره مربی Harshit Tyagi اصول مهندسی داده را توضیح میدهد. وی موضوعات کلیدی مانند درگیری دادهها، طرح پایگاه داده و توسعه ETL pipelines را پوشش میدهد. وی همچنین جزئیات چندین ابزار مهندسی داده مانند Hive، Hadoop، Spark و Airflow را ارائه میدهد. با پایان این دوره، باید کاملاً روشن شود که چرا مهندس داده یکی از با ارزشترین افراد در یک سازمان داده محور است.
در این دوره مربی Harshit Tyagi اصول مهندسی داده را توضیح میدهد. وی موضوعات کلیدی مانند درگیری دادهها، طرح پایگاه داده و توسعه ETL pipelines را پوشش میدهد. وی همچنین جزئیات چندین ابزار مهندسی داده مانند Hive، Hadoop، Spark و Airflow را ارائه میدهد. با پایان این دوره، باید کاملاً روشن شود که چرا مهندس داده یکی از با ارزشترین افراد در یک سازمان داده محور است.
مهارت ها
HiveHadoopVisual Studio CodePostgreSQLApache SparkApacheData EngineeringFoundationsData ScienceOpen SourceMicrosoft
سرفصل ها
0. مقدمه
- 01-مهندسی داده چیست
1. مقدمه ای بر مهندسی داده
- 02-مقدمه ای بر مهندسی داده
- 03-مهندس داده در مقابل دانشمند داده
- 04-ابزارهای ضروری برای مهندسی داده
2. پایگاه های داده و چارچوب های داده
- 05-معرفی پایگاه های داده و انواع آنها
- 06- درک طرحواره پایگاه داده
- 07-محاسبات توزیعی
3. ابزار مهندسی داده
- 08-MapReduce و Hadoop
- 09-کندو
- 10- جرقه
- 11-جریان هوا
4. خطوط لوله ETL
- 12-منابع استخراج داده ها
- 13- استخراج داده ها از پایگاه داده PostgreSQL
- 14-چالش - استخراج داده ها
- 15-راه حل - استخراج داده ها
- 16-تغییر داده ها
- 17-چالش - تبدیل داده ها
- 18-راه حل - تبدیل داده ها
- 19- بارگذاری داده ها در یک DB
- 20-چالش - بارگذاری داده ها
- 21-راه حل - بارگذاری داده ها
- 22- برنامه ریزی خط لوله ETL با استفاده از جریان هوا
نتیجه
- 23- مراحل بعدی