))
עונה 3 פרק 13 - סוף עונה חלק ב - אופטימיזציה של מודלי בינה מלאכותית - פרופ׳ ניר שביט
Manage episode 493046679 series 3516742
محتوای ارائه شده توسط ilan & josh. تمام محتوای پادکست شامل قسمت‌ها، گرافیک‌ها و توضیحات پادکست مستقیماً توسط ilan & josh یا شریک پلتفرم پادکست آن‌ها آپلود و ارائه می‌شوند. اگر فکر می‌کنید شخصی بدون اجازه شما از اثر دارای حق نسخه‌برداری شما استفاده می‌کند، می‌توانید روندی که در اینجا شرح داده شده است را دنبال کنید.https://fa.player.fm/legal
בפרק הסיום שלנו אנו שוברים את המיתוס שמודלים חייבים להיות מפלצות GPU. פרופ’ ניר שביט, מייסד-שותף של Neural Magic וכיום ברד האט, חושף כיצד Sparsity ו-Quantization מצמצמים את משקל המודל, חוסכים בזיכרון ובכסף – ומשאירים את הביצועים בשיא.
ניר מסביר למה vLLM הוא ה”לינוקס” של עולם ה-LLM: שכבת אינפרנס פתוחה שמסתירה את כאב-הראש של חומרה משתנה ומנהלת זיכרון, תזמון ומשאבים על פני כמה GPUs, תוך תחרות צמודה מול TensorRT והפתרונות הסגורים.
בהמשך, אנחנו מדברים על העתיד: האם נגיע ל-AGI דרך מודל אחד ענקי, או דווקא בזכות אקו-סיסטם של “מיקסטר אוף אקספרטס” – הרבה מודלים קטנים וממוקדים שכל אחד מצטיין בתחומו? ניר טוען שהכול עניין סטטיסטי, ושמה שחסר לנו הוא בעיקר עוד דאטה משוכלל, לא מודעות עצמית.
סיום עונה שמוכיח שאפשר לעשות יותר עם פחות – ושהמרוץ אחר מודלים יעילים רק מתחיל.
41 قسمت
اشتراک گذاری
