دوره آموزشی مقدمه‌ای بر مدل‌های ترنسفورمر برای پردازش زبان طبیعی (NLP)

جزئیات دوره

این دوره یک مرور جامع از مدل‌های زبان بزرگ (LLMs)، معماری ترانسفورمرها، و مکانیزم‌هایی مانند توجه (Attention)، تعبیه‌سازی (Embedding)، و توکن‌سازی (Tokenization) ارائه می‌دهد که زمینه را برای مدل‌های پیشرفته پردازش زبان طبیعی (NLP) مانند BERT و ChatGPT فراهم می‌کنند. مدرس سینان اوزدمیر با بهره‌گیری از توضیحات دقیق، معادلات ریاضی، و مثال‌های عملی در نوت‌بوک‌های Jupyter با زبان Python، به شما درک عمیق و کاربردی از معماری ترانسفورمرها و نحوه استفاده از آن‌ها برای ایجاد پایپ‌لاین‌های مدرن NLP ارائه می‌دهد.

اهداف یادگیری:
تشخیص مدل‌های مبتنی بر ترانسفورمر که برای یک وظیفه خاص مناسب‌تر هستند.
درک نحوه پردازش متن و پیش‌بینی‌ها توسط ترانسفورمرها.
تنظیم دقیق مدل‌های ترانسفورمر با داده‌های سفارشی.
ایجاد پایپ‌لاین‌های کاربردی با استفاده از مدل‌های تنظیم‌شده.
استقرار مدل‌های تنظیم‌شده و استفاده از آن‌ها در محیط تولید.
بهره‌گیری از تکنیک‌های مهندسی اعلان (Prompt Engineering) برای بهینه‌سازی خروجی‌های GPT-3 و ChatGPT.

سرفصل ها

0. مقدمه

01 - مقدمه

1. مقدمه ای بر مدل‌های توجه و زبان

02 - مباحث درس 1
03 - تاریخچه مختصری از NLP
04 - توجه با توجه
05 - معماری رمزگذار - رمزگشا
06 - مدل‌های زبان چگونه به متن نگاه می‌کنند

2. چگونه ترانسفورماتورها از توجه برای پردازش متن استفاده می‌کنند

07 - مباحث درس 2
08 - آشنایی با ترانسفورماتورها
09 - توجه محصول به نقطه مقیاس شده
10 - توجه چند سر

3. انتقال یادگیری

11 - مباحث درس 3
12 - مقدمه ای بر یادگیری انتقالی
13 - مقدمه ای بر PyTorch
14 - ترانسفورماتورهای تنظیم دقیق با PyTorch

4. درک زبان طبیعی با BERT

15 - مباحث درس 4
16 - مقدمه ای بر BERT
17 - توکن سازی WordPiece
18 - تعبیه‌های فراوان BERT

5. پیش آموزش و تنظیم دقیق BERT

19 - مباحث درس 5
20 - وظیفه مدلسازی زبان نقابدار
21 - وظیفه پیش‌بینی جمله بعدی
22 - تنظیم دقیق BERT برای حل وظایف NLP

6. دست روی BERT

23 - مباحث درس 6
24 - طعم‌های برت
25 - BERT برای طبقه بندی توالی
26 - BERT برای طبقه بندی نشانه
27 - BERT برای پاسخگویی به سؤال

7. تولید زبان طبیعی با GPT

28 - مباحث درس 7
29 - آشنایی با خانواده GPT
30 - توجه چند سر نقاب دار
31 - پیش آموزش GPT
32 - یادگیری چند شات

8. GPT دستی

33 - مباحث درس 8
34 - GPT برای تکمیل سبک
35 - GPT برای دیکته کد

9. کاربردهای بیشتر BERT و GPT

36 - مباحث درس 9
37 - شبکه‌های BERT سیامی برای جستجوی معنایی
38 - آموزش چند کار GPT به صورت همزمان با مهندسی سریع

10. T5 بازگشت به اصول

39 - مباحث درس 10
40 - رمزگذارها و رمزگشاها خوش آمدید - معماری T5
41 - توجه متقابل

11. Hands-On T5

42 - مباحث درس 11
43 - نتایج خارج از قفسه با T5
44 - استفاده از T5 برای جمع بندی انتزاعی

12. Vision Transformer

45 - مباحث درس 12
46 - مقدمه ای بر ترانسفورماتور بینایی (ViT)
47 - تنظیم دقیق سیستم زیرنویس تصویر

13. استقرار مدل‌های ترانسفورماتور

48 - مباحث درس 13
49 - مقدمه ای بر MLOps
50 - به اشتراک گذاری مدل‌های ما در HuggingFace
51 - استقرار یک مدل BERT تنظیم شده با استفاده از FastAPI

14. استفاده از مدل‌های زبانی بسیار بزرگ

52 - مباحث درس 14
53 - مدل‌های مدرن زبان بزرگ
54 - GPT-3 و ChatGPT
55 - سایر LLMها و جستجوی معنایی با تعبیه‌های OpenAI

نتیجه گیری

56 - خلاصه