دوره آموزشی LLMOs پیشرفته: استقرار و مدیریت LLM در تولید

دوره آموزشی LLMOs پیشرفته: استقرار و مدیریت LLM در تولید

1 ساعت 45 دقیقهپیشرفته2024-07-19

مدرسین

Soham Chatterjee

Soham Chatterjee

Machine Learning Lead

Archana Vaidheeswaran

Archana Vaidheeswaran

جزئیات دوره

فناوری های پیشرفته هوش مصنوعی در حال تغییر جهان هستند. اما بدون استقرار و مدیریت مناسب، برنامه های شما ممکن است هرگز به پتانسیل کامل خود نرسند. بدتر از آن، آنها به سادگی می توانند از کار بیفتند یا حتی باعث ایجاد خطاهای مهم در سیستم شما شوند. از آنجایی که سازمان‌های بیشتری مدل‌های زبانی بزرگ را در جریان کار خود وارد می‌کنند، نیاز روزافزونی به متخصصان ماهر در استقرار و نظارت بر این مدل‌ها به طور موثر، مسئولانه و ایمن در محیط‌های تولید وجود دارد. در این دوره، تکنیک های پیشرفته و بهترین شیوه ها برای استقرار و نظارت بر LLM ها در محیط های تولیدی را بیاموزید. گزینه‌های استقرار LLM، مدیریت محدودیت‌های API، تکنیک‌های نظارت بر عملکرد، مدیریت سریع، رسیدگی به توهمات و موارد دیگر را کاوش کنید. به علاوه، در مورد ملاحظات امنیت و هزینه اطلاعات کسب کنید و یادگیری خود را با چالش ها و راه حل ها آزمایش کنید.

مهارت ها

Software DeploymentNatural Language Processing (NLP)Generative AIAdvancedArtificial Intelligence (AI)Network and System Administration

سرفصل ها

مقدمه

  • استقرار LLM برای تولید
  • کار در Google Colab

گزینه‌های استقرار برای LLM

  • مروری بر گزینه‌های استقرار
  • استقرار از طریق APIها
  • استفاده از مدل‌های تنظیم شده برای استقرار
  • مدل‌های سفارشی - ساخت و استقرار

مدیریت محدودیت‌های API

  • درک محدودیت‌های API
  • استراتژی‌هایی برای رسیدگی به محدودیت‌های زمان پایانی
  • کاهش مشکلات تاخیر در استقرار LLM
  • چالش - محدودیت‌های API برای استقرار LLM
  • راه حل - محدودیت‌های API برای استقرار LLM

معماری استقرار

  • پایگاه داده برداری برای استقرار LLM
  • عوامل در استقرار LLM
  • زنجیره در استقرار LLM
  • چالش - یک برنامه RAG ساده را با استفاده از یک API مستقر کنید
  • راه حل - استقرار یک برنامه RAG ساده با استفاده از یک API

نظارت بر عملکرد LLM

  • مقدمه ای بر نظارت بر عملکرد LLM
  • پرداختن به توهم در LLM ها

تکنیک‌های پیشرفته استقرار

  • مدیریت سریع برای استقرار LLM
  • ارزیابی LLM‌ها در تولید
  • چالش - ارزیابی سیستم‌های LLM
  • راه حل - ارزیابی سیستم‌های LLM

ملاحظات امنیت و هزینه

  • ملاحظات امنیتی برای LLM در تولید
  • متعادل کردن هزینه‌ها و عملکرد در استقرار LLM
  • استراتژی برای استقرار مقرون به صرفه LLM
  • چالش - برآورد هزینه‌های یک API LLM
  • راه حل - برآورد هزینه‌های یک API LLM

نتیجه

  • مراحل بعدی
۴۰,۰۰۰ تومان