دوره آموزشی امنیت هوش مصنوعی مولد: استراتژیها، روشها، ابزارها و بهترین شیوهها
3 ساعت 39 دقیقهمتوسط2025-01-23
مدرسین

Pearson

Omar Santos
جزئیات دوره
این دوره، بررسی جامعی در زمینه تدابیر امنیتی ضروری برای پیادهسازی و توسعه انواع مختلف هوش مصنوعی، از جمله مدلهای زبان بزرگ (LLMs) و نسلگیری افزوده بازیابی (RAG) ارائه میدهد. با کشف نکات کلیدی و تدابیر کاهش ریسک در فرایندهای توسعه سیستمهای هوش مصنوعی سازمانها، شما با اصول طراحی ایمن، نتایج امنیتی، شفافیت رادیکال و ساختارهای سازمانی که اولویت امنیتی دارند آشنا خواهید شد. مدرس این دوره، Omar Santos، مواردی از تهدیدات هوش مصنوعی، امنیت LLM، تزریق دستورات، مدیریت نادرست خروجی، مدلهای تست قرمز و موارد دیگر را پوشش میدهد. پس از پایان این دوره، شما قادر خواهید بود مهارتهای جدید خود را برای محافظت از پیادهسازیهای RAG، تأمین پایگاه دادههای برداری، انتخاب مدلهای جاسازی و بهرهگیری از کتابخانههای ارکستراسیون قدرتمند مانند LangChain و LlamaIndex به کار بگیرید.
اهداف یادگیری دوره
بررسی امنیت برای پیادهسازی و توسعه برنامههای هوش مصنوعی، نسلگیری افزوده بازیابی (RAG)، عاملها و سایر پیادهسازیهای هوش مصنوعی
بهرهبرداری از مهارتهای عملی آموختهشده در مسائل دنیای واقعی هوش مصنوعی و یادگیری ماشین
اعمال تدابیر امنیتی کلیدی در هر مرحله از توسعه، پیادهسازی و عملیات هوش مصنوعی
اهداف یادگیری دوره
بررسی امنیت برای پیادهسازی و توسعه برنامههای هوش مصنوعی، نسلگیری افزوده بازیابی (RAG)، عاملها و سایر پیادهسازیهای هوش مصنوعی
بهرهبرداری از مهارتهای عملی آموختهشده در مسائل دنیای واقعی هوش مصنوعی و یادگیری ماشین
اعمال تدابیر امنیتی کلیدی در هر مرحله از توسعه، پیادهسازی و عملیات هوش مصنوعی
مهارت ها
Generative AIIncident ResponseArtificial Intelligence (AI)CybersecurityOne-Off
سرفصل ها
مقدمه
- ایمن سازی هوش مصنوعی مولد - مقدمه
مقدمه ای بر تهدیدات هوش مصنوعی و امنیت LLM
- اهداف آموزشی
- درک اهمیت LLMها در چشم انداز هوش مصنوعی
- بررسی منابع این دوره - مخازن GitHub و دیگران
- معرفی نسل افزوده بازیابی (RAG)
- درک 10 خطر برتر OWASP برای LLM
- بررسی چارچوب MITER ATLAS (چشم انداز تهدید متخاصم برای سیستمهای هوش مصنوعی)
- درک طبقه بندی NIST و اصطلاحات حملات و کاهش
درک سریع مدیریت ناامن خروجی تزریق
- اهداف آموزشی
- تعریف حملات تزریق سریع
- بررسی حملات تزریق فوری در زندگی واقعی
- استفاده از ChatML برای فراخوانیهای OpenAI API برای نشان دادن منبع ورودی سریع به LLM
- اعمال کنترل امتیاز در دسترسی LLM به سیستمهای بک اند
- بهترین روشها در مورد توکنهای API برای پلاگین ها , دسترسی به دادهها و مجوزهای سطح عملکرد
- درک حملات مدیریت ناامن خروجی
- استفاده از OWASP ASVS برای محافظت در برابر کنترل ناامن خروجی
مسمومیت دادههای آموزشی، آسیبپذیریهای زنجیره تامین خدمات انکار مدل
- اهداف آموزشی
- درک حملات مسمومیت دادههای آموزشی
- بررسی مدل حملات انکار سرویس
- درک خطرات زنجیره تامین هوش مصنوعی و ML
- بهترین روشها هنگام استفاده از مدلهای منبع باز از Hugging face و منابع دیگر
- ایمن سازی Amazon Bedrock، Amazon SageMaker، خدمات هوش مصنوعی MicrosoftAzure و سایر محیط ها
افشای اطلاعات حساس، طراحی پلاگین ناامن و نمایندگی بیش از حد
- هدف یادگیری
- درک افشای اطلاعات حساس
- بهره برداری از طراحی پلاگین ناامن
- پرهیز از عاملیت زیاد
مدلهای هوش مصنوعی بیش از حد، سرقت مدل و تیم قرمز
- اهداف آموزشی
- درک بیش از حد اتکا
- بررسی حملات مدل سرقت
- درک تیم قرمز مدلهای هوش مصنوعی
حفاظت از پیاده سازیهای نسل افزوده بازیابی (RAG).
- اهداف آموزشی
- درک RAG، LangChain، Llama index، و ارکستراسیون هوش مصنوعی
- ایمن سازی مدلهای تعبیه شده
- ایمن سازی پایگاههای داده برداری
- نظارت و واکنش به حوادث
نتیجه گیری
- ایمن سازی هوش مصنوعی مولد - خلاصه