GPT (ראשי תיבות: Generative pre-trained transformers; בעברית: טרנספורמר מאומן מראש בעל יכולת יצירה) הוא סוג של מודל שפה גדול (LLM)[1] ואחד מכלי הבינה המלאכותית היוצרת (Generative AI) הבולטים.
ה-GPT הראשון הוצג בשנת 2018 על ידי חברת הבינה המלאכותית האמריקאית OpenAI.[2] המודלים של GPT הם רשתות עצביות מלאכותיות המבוססות על ארכיטקטורת הטרנספורמרים, מאומנות מראש על קבוצות נתונים גדולות של טקסט לא מתוייג, ומסוגלות ליצור תוכן טקסטואלי בדומה לתוכן המיוצר על ידי אדם.[3] נכון לשנת 2023, לרוב ה-LLMs יש את המאפיינים הללו[4] ולעיתים הם מכונים באופן נרחב כ-GPTs.[5]
OpenAI פרסמה מודלים של GPT שמוספרו ברצף, כדי להרכיב את סדרת ה-"GPT-n" שלה.[6] כל גרסה הייתה בעלת יכולות גבוהות מקודמתה, בשל גודל (מספר פרמטרים שניתנים לאימון) והאימונים המשופרים. האחרון שבהם, GPT-4, שוחרר במרץ 2023. מודלים אלו מהווים בסיס למערכות מתקדמות המשתמשות בשירותיהם למשימות ספציפיות, כולל שירות הצ'אטבוט ChatGPT.[7]
המונח "GPT" משמש גם בשמות ובתיאורים של מודלים כאלה שפותחו על ידי חברות אחרות. לדוגמה, מודלים אחרים של בסיס GPT כוללים סדרה של דגמים שנוצרו על ידי EleutherAI,[8] ולאחרונה שבעה דגמים שנוצרו על ידי Cerebras. כמו כן, חברות בתעשיות שונות פיתחו מערכות GPT ספציפיות למשימה בתחומיהן, כגון "EinsteinGPT" של Salesforce (עבור CRM)[9] ו-"BloombergGPT" של בלומברג (לפיננסים).[10]
{{cite journal}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)
{{cite web}}
: (עזרה)