دوره آموزشی امنیت محصولات هوش مصنوعی: تست، اعتبارسنجی و نگهداری
2 ساعت 8 دقیقهمتوسط2025-02-27
مدرسین

Malcolm Shore
Cybersecurity Expert, Former Director of GCSB
جزئیات دوره
توی دنیای امروز که هوش مصنوعی داره همهچیزو زیر و رو میکنه، فقط ساخت یه مدل قوی کافی نیست؛ باید مطمئن بشی این مدل درست و امن کار میکنه! این دوره دقیقاً روی همین موضوع تمرکز داره: تست کردن اپلیکیشنهای هوش مصنوعی.
توی این دوره یاد میگیری که:
چه مشکلات و آسیبپذیریهایی ممکنه توی یه سیستم AI پیش بیاد.
چه ابزارهایی وجود دارن برای کشف این مشکلات، مثل اسکنرهای رد تیم (Red Team) و ابزارهای تزریق پرامپت یا کامند.
چجوری میتونی یه سیستم رسمی و منظم برای مدیریت تستها راه بندازی، با استفاده از ابزارهایی مثل Kiwi TCMS.
و حتی اینکه چطور تستهای اخلاقی و امنیتی رو توی کل چرخه عمر هوش مصنوعی پیادهسازی کنی.
در واقع، این دوره کمکت میکنه تا بتونی قبل از اینکه هوش مصنوعیات وارد عمل بشه، مطمئن بشی که باگ نداره، قابل سوءاستفاده نیست، و طبق اصول «AI مسئولانه» کار میکنه.
🎯 اهداف یادگیری (Learning Objectives):
تحلیل آسیبپذیریهای سیستمهای هوش مصنوعی با ابزارهایی مثل Red Team Scanner و Prompt Injection
ارزیابی Guardrailها (محدودیتها و کنترلهای امنیتی مدل) با استفاده از تستهای دقیق و سیستماتیک
طراحی تست کیسهای کامل برای اپلیکیشنهای AI با KiwiTCMS
پیادهسازی برنامههای تست عملیاتی که اصول مسئولانهی AI رو در نظر بگیرن
استفاده از ابزارها و متدولوژیهای تست برای شناسایی و مستندسازی مشکلات خاص AI مثل Prompt Injection، Data Poisoning و Model Manipulation
توی این دوره یاد میگیری که:
چه مشکلات و آسیبپذیریهایی ممکنه توی یه سیستم AI پیش بیاد.
چه ابزارهایی وجود دارن برای کشف این مشکلات، مثل اسکنرهای رد تیم (Red Team) و ابزارهای تزریق پرامپت یا کامند.
چجوری میتونی یه سیستم رسمی و منظم برای مدیریت تستها راه بندازی، با استفاده از ابزارهایی مثل Kiwi TCMS.
و حتی اینکه چطور تستهای اخلاقی و امنیتی رو توی کل چرخه عمر هوش مصنوعی پیادهسازی کنی.
در واقع، این دوره کمکت میکنه تا بتونی قبل از اینکه هوش مصنوعیات وارد عمل بشه، مطمئن بشی که باگ نداره، قابل سوءاستفاده نیست، و طبق اصول «AI مسئولانه» کار میکنه.
🎯 اهداف یادگیری (Learning Objectives):
تحلیل آسیبپذیریهای سیستمهای هوش مصنوعی با ابزارهایی مثل Red Team Scanner و Prompt Injection
ارزیابی Guardrailها (محدودیتها و کنترلهای امنیتی مدل) با استفاده از تستهای دقیق و سیستماتیک
طراحی تست کیسهای کامل برای اپلیکیشنهای AI با KiwiTCMS
پیادهسازی برنامههای تست عملیاتی که اصول مسئولانهی AI رو در نظر بگیرن
استفاده از ابزارها و متدولوژیهای تست برای شناسایی و مستندسازی مشکلات خاص AI مثل Prompt Injection، Data Poisoning و Model Manipulation
مهارت ها
Security TestingVulnerability ManagementCybersecurityOne-Off
سرفصل ها
0. مقدمه
- 01 - اطمینان از استفاده ایمن و مسئولانه از هوش مصنوعی
- 02 - آنچه باید بدانید
- 03 - سلب مسئولیت
1. مدیریت فایل آزمون
- 04 - مقدمه ای بر امنیت هوش مصنوعی
- 05 - تست امنیتی برای برنامههای کاربردی هوش مصنوعی
- 06 - راهاندازی آزمایشگاه تست
- 07 - مقدمه ای بر HuggingFace
- 08 - مدیریت مدلهای محلی با اوللاما
- 09 - مدیریت کیس آزمایشی با KiwiTCMS
- 10 - تست امنیت با KiwiTCMS
- 11 - درک تهدیدات هوش مصنوعی
- 12 - الزامات تست در استانداردهای هوش مصنوعی
2. درک حملات
- 13 - نصب اپلیکیشن آسیب پذیر LLM
- 14 - آزمایش برای تزریق سریع
- 15 - چالش با کد عامل
- 16 - تزریق افکار
- 17 - حل چالش LOTR
- 18 - زیر پا گذاشتن قوانین
- 19 - پیشبینی اسرار
- 20 - پوسته گرفتن
- 21 - سازش در حین دانلود
- 22 - هنر تست هوش مصنوعی
3. تست مدل هوش مصنوعی مسئول و ایمن
- 23 - ابزار تست هوش مصنوعی
- 24 - مقدمه ای بر DeepEval
- 25 - تست ارتباط
- 26 - آزمایش سمیت
- 27 - اسکن آسیب پذیری با garak
- 28 - اسکن فایلهای ترشی
- 29 - تمام طول برج مراقبت
- 30 - اسکن پیشرفته برای مدلهای مخرب
4. تیم قرمز
- 31 - AI red teaming چیست
- 32 - آماده سازی هدف
- 33 - گروه قرمز دستگاه هوش مصنوعی ما
5. تست عملیاتی
- 34 - نردههای محافظ هوش مصنوعی
- 35 - اجرای LLM-guard
- 36 - لایههای پنهان هوش مصنوعی
- 37 - تست نرده محافظ EnkryptAI
نتیجه گیری
- 38 - بعدش چی
دوره های مرتبط
- دوره آموزشی تهیه گزارشهای حرفهای تست نفوذ: راهنمای عملی برای متخصصان امنیت سایبری
- دوره آموزشی یادگیری اصولی تست امنیت
- دوره آموزشی هوش مصنوعی در مدیریت ریسک و کشف تقلب
- دوره آموزشی یادگیری ماشینی برای هکرهای تیم قرمز
- دوره آموزشی تست امنیت: اسکن امنیتی Nmap
- دوره آموزشی هکر اخلاقی گواهیشده (CEH)
- دوره آموزشی تست نفوذ و هک اخلاقی
- دوره آموزشی سری آموزشهای اپراتور تیم قرمز