PaLM (Pathways Language Model) הוא מודל שפה גדול המבוסס על טרנספורמר של 540 מיליארד פרמטרים שפותח על ידי Google AI.[1]
החוקרים הכשירו גם גרסאות קטנות יותר של PaLM, בהם 8 ו-62 מיליארד מודלים פרמטרים, כדי לבדוק את ההשפעות של קנה המידה של המודל.
PaLM מסוגל לבצע מגוון רחב של משימות, כולל חשיבה רגילה (אנ'), חשיבה אריתמטית, הסבר בדיחות, יצירת קוד ותרגום.[2][3][4] בשילוב עם הנחיה של פרומפטים, PaLM השיגה ביצועים טובים יותר באופן משמעותי על מערכי נתונים הדורשים חשיבה של מספר שלבים, כגון בעיות מילים ושאלות מבוססות לוגיקה.
הדגם הוכרז לראשונה באפריל 2022 ונשאר פרטי עד מרץ 2023, אז השיקה גוגל API עבור PaLM ועוד כמה טכנולוגיות.[5] ה-API זמין תחילה למספר מצומצם של מפתחים שמצטרפים לרשימת המתנה לפני פתיחתו לציבור.[6]
גוגל ו-DeepMind פיתחו גרסה של PaLM 540B בשם Med-PaLM המכווננת ומאומנת על נתונים רפואיים ועולה על דגמים קודמים במדדי תשובות לשאלות רפואיות.[7]
Med-PaLM הייתה הראשונה שהשיגה ציון עובר בשאלות רישוי רפואי בארצות הברית, ובנוסף לענות בצורה מדויקת הן על שאלות מרובות והן על שאלות פתוחות, היא גם מספקת נימוקים ומסוגלת להעריך את התשובות שלה.[8]
במאי 2023, גוגל הכריזה על PaLM 2 באירוע המרכזי השנתי של Google I/O.[9] הדיווח העדכני הוא כי PaLM 2 הוא דגם של 340 מיליארד פרמטרים שאומן על 3.6 טריליון פריטי מידע.[10]
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)