חיזוק גרדיאנט

Gradient boosting (מילולית: הגברת גרדיאנט) היא טכניקת למידת מכונה המשמשת בין היתר במשימות רגרסיה וסיווג. היא נותנת מודל חיזוי בצורה של תמהיל (ensemble) של מודלי חיזוי חלשים, שהם בדרך כלל עצי החלטה.^[1][2] כאשר עץ החלטות הוא הלומד החלש (weak learner), האלגוריתם המתקבל נקרא עצים מחוזקי שיפוע, והוא בדרך כלל מתעלה ביעילותו על יער אקראי (random forest).^[1][2][3] מודל עצי-מחוזק שיפוע בנוי בצורה שלבית כמו שיטות boosting אחרות, אבל זה מכליל שיטות אחרות בכך שהוא מאפשר אופטימיזציה של פונקציית הפסד גזירה שרירותיות.

הקדמה לא רשמית

(קטע זה תואם חשיפה של חיזוק שיפוע על ידי Li^[4])

בדומה לשיטות חיזוק אחרות, חיזוק שיפוע משלבת "לומדים" חלשים ללומד חזק יחיד בצורה איטרטיבית. המקרה הפשוט ביותר הוא בהגדרת הרגרסיה על ידי קריטריון של ריבועים מינימליים, שבה המטרה היא "ללמד" מודל ${\displaystyle F}$ לחזות את ערכי הצורה ${\displaystyle {\hat {y}=F(x)}$ על ידי מזעור השגיאה הממוצעת בריבוע ${\displaystyle {\tfrac {1}{n}\sum _{i}({\hat {y}_{i}-y_{i})^{2}$, כאשר ${\displaystyle i}$ אינדקסים מעל סט אימונים כלשהו בגודל ${\displaystyle n}$ של ערכים בפועל של משתנה הפלט ${\displaystyle y}$ :

• ${\displaystyle {\hat {y}_{i}$ = הערך החזוי ${\displaystyle F(x)}$
• ${\displaystyle y_{i}$ = הערך הנצפה
• ${\displaystyle n}$ = מספר הדגימות ב ${\displaystyle y}$

כעת, הבה נבחן אלגוריתם להגברת שיפוע עם ${\displaystyle M}$ שלבים. בכל שלב ${\displaystyle m}$ ( ${\displaystyle 1\leq m\leq M}$ ) של הגברת שיפוע, נניח מודל לא מושלם ${\displaystyle F_{m}$ (עבור ${\displaystyle m}$ נמוך, ייתכן שהדגם הזה פשוט יחזור ${\displaystyle {\hat {y}_{i}={\bar {y}$, שבו ה- RHS הוא הממוצע של ${\displaystyle y}$). כדי לשפר את ${\displaystyle F_{m}$, האלגוריתם שלנו צריך להוסיף איזשהו אומדן חדש, ${\displaystyle h_{m}(x)}$. לכן,

${\displaystyle F_{m+1}(x)=F_{m}(x)+h_{m}(x)=y}$

או, באופן שווה,

${\displaystyle h_{m}(x)=y-F_{m}(x)}$ .

לכן, הגברת שיפוע תתאים את h לשארית ${\displaystyle y-F_{m}(x)}$ . כמו בגרסאות חיזוק אחרות, כל ${\displaystyle F_{m+1}$ מנסה לתקן את השגיאות של קודמו ${\displaystyle F_{m}$. הכללה של רעיון זה לפונקציות הפסד שאינן שגיאה בריבוע, ולבעיות סיווג ודירוג, נובעת מהתצפית ששאריות ${\displaystyle h_{m}(x)}$ עבור מודל נתון שוות ערך (פרופורציונלית) לשיפועים השליליים של פונקציית ההפסד הממוצעת בריבוע (MSE) (ביחס ל ${\displaystyle F(x)}$):

${\displaystyle L_{\rm {MSE}={\frac {1}{n}\left(y-F(x)\right)^{2}$

${\displaystyle -{\frac {\partial L_{\rm {MSE}{\partial F}={\frac {2}{n}(y-F(x))={\frac {2}{n}h_{m}(x)}$ .

אז אפשר לכוון בהגברת השיפוע לאלגוריתם של ירידה בשיפוע, והכללה שלו כרוכה ב"חיבור" של הפסד שונה ושל הגרדיאנט שלו.

ראו גם

• יער אקראי
• XGBoost
• למידת עץ החלטות

לקריאה נוספת

• Boehmke, Bradley; Greenwell, Brandon (2019). "Gradient Boosting". Hands-On Machine Learning with R. Chapman & Hall. pp. 221–245. ISBN 978-1-138-49568-5.

הערות שוליים

בינה מלאכותית
כללי	מבחן טיורינג • היסטוריה של הבינה המלאכותית • ציר הזמן של בינה מלאכותית • התקדמות הבינה המלאכותית • אוריינות AI • סוכן תבוני • AI-שלמות מערכת מומחה • אסדרת בינה מלאכותית • בינה מלאכותית צרה • בינה חישובית • הסברתיות בינה מלאכותית • הפרדוקס של מורבק • סוכן תבוני • אתיקה של בינה מלאכותית
תחומים	עיבוד שפה טבעית • ראייה ממוחשבת • בינה מלאכותית יוצרת • אומנות בינה מלאכותית
סוגי למידת מכונה	מערכת לומדת • למידה מונחית • למידה בלתי מונחית • למידה עמוקה • למידת חיזוק • סיווג בייסיאני נאיבי • רשת בייסיאנית
אלגוריתמי למידת מכונה קלאסית	פרספטרון • עץ החלטה • מכונת וקטורים תומכים • Bag of words • אלגוריתם k-מרכזים • אלגוריתם מיקסום התוחלת • הורדת ממד • אלגוריתם שכן קרוב • Q-learning •‏ T-SNE •‏ Tf–idf • חיזוק גרדיאנט
למידה עמוקה	רשת עצבית מלאכותית • רשת זרימה קדימה • רשת עצבית רקורסיבית • פונקציית אקטיבציה • טרנספורמר • Attention •‏ GAN
עיבוד שפה טבעית	מודל שפה • שיכון מילים (אנ') • בלשנות חישובית • תרגום מכונה • חילוץ מידע (אנ') • ניתוח סנטימנט • זיהוי חלקי דיבר (אנ') • מערכת זיהוי דיבור • זיהוי ישויות • כריית טקסט • תיוג תפקידים סמנטי • Word2vec • מודל שפה גדול • GPT •‏ BERT (אנ') • מודל Bag-of-words (אנ') • יצירת טקסט בשפה טבעית (אנ') • מילת עצירה • ניתוח מחרוזות • Stemming (אנ') • למטיזציה (אנ')
יישומים לבינה מלאכותית (אנ')	צ'אטבוט • זיהוי דובר • זיהוי עצמים • זיהוי תבניות • עוזר וירטואלי • זיהוי תווים אופטי • מחולל תמונות • הזיות
מערכות בינה מלאכותית	אלייזה • ChatGPT •‏ DALL-E •‏ Midjourney •‏ Gemini •‏ Perplexity •‏ GitHub Copilot • דיפ־פייק • סירי • Google Assistant • אמזון אלכסה
סוגיות בטיחות בינה מלאכותית (אנ')	סכנה קיומית מבינה מלאכותית כללית • בינה מלאכותית חזקה • יישור בינה מלאכותית (אנ') • בקרת יכולות בינה מלאכותית (אנ') • השתלטות בינה מלאכותית (אנ') • בינה מלאכותית ידידותית (אנ') • התכנסות אינסטרומנטלית (אנ') • סינגולריות טכנולוגית
ספריות בשימוש נרחב	TensorFlow •‏ PyTorch •‏ Torch •‏ Hugging Face •‏ Keras •‏ spaCy (אנ') •‏ Caffe
לקטגוריית הבינה המלאכותית