Transformador generativo preentrenado

Los transformadores generativos preentrenados (GPT) son un tipo de modelo de lenguaje grande (LLM)^[1]​^[2]​^[3]​ y un marco prominente para la inteligencia artificial generativa.^[4]​^[5]​ El primer GPT fue presentado en 2018 por OpenAI.^[6]​ Los modelos GPT son redes neuronales artificiales que se basan en la arquitectura del transformador, preentrenados en grandes conjuntos de datos de texto sin etiquetar, y capaces de generar contenido novedoso similar al humano.^[2]​^[3]​ A partir de 2023, la mayoría de los LLM tienen estas características^[7]​ y a veces se hace referencia a ellos como GPT.^[8]​

OpenAI ha lanzado modelos básicos GPT muy influyentes que han sido numerados secuencialmente para conformar su serie "GPT-n".^[9]​ Cada uno de ellos era significativamente más capaz que el anterior, debido a su mayor tamaño (número de parámetros entrenables) y entrenamiento. El más reciente, el GPT-4, salió al mercado en marzo de 2023. Estos modelos han sido la base de sus sistemas GPT para tareas más específicas, incluidos los modelos perfeccionados para el seguimiento de instrucciones, que a su vez impulsan el servicio de chatbot ChatGPT.^[1]​

El término "GPT" también se utiliza en los nombres y descripciones de los modelos desarrollados por otros. Por ejemplo, otros modelos de base GPT incluyen una serie de modelos creados por EleutherAI^[10]​ y, recientemente, siete modelos creados por Cerebras.^[11]​ Asimismo, empresas de distintos sectores han desarrollado GPT específicas para tareas en sus respectivos campos, como "EinsteinGPT" de Salesforce (para CRM)^[12]​ y "BloombergGPT" de Bloomberg (para finanzas).^[13]​

1. ↑ ^{a b} Haddad, Mohammed. «How does GPT-4 work and how can you start using it in ChatGPT?». www.aljazeera.com. 
2. ↑ ^{a b} «Generative AI: a game-changer society needs to be ready for». World Economic Forum. 
3. ↑ ^{a b} «The A to Z of Artificial Intelligence». Time. 13 de abril de 2023. 
4. ↑ Hu, Luhui (15 de noviembre de 2022). «Generative AI and Future». Medium. 
5. ↑ «CSDL | IEEE Computer Society». www.computer.org. 
6. ↑ «Improving language understanding with unsupervised learning». openai.com (en inglés estadounidense). 11 de junio de 2018. Archivado desde el original el 18 de abril de 2023. Consultado el 18 de abril de 2023. 
7. ↑ Toews, Rob. «The Next Generation Of Large Language Models». Forbes. 
8. ↑ Mckendrick, Joe (13 de marzo de 2023). «Most Jobs Soon To Be 'Influenced' By Artificial Intelligence, Research Out Of OpenAI And University Of Pennsylvania Suggests». Forbes. 
9. ↑ «GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared». MUO. 11 de abril de 2023. 
10. ↑ Alford, Anthony (13 de julio de 2021). «EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J». InfoQ. 
11. ↑ «Noticias (news)» (en inglés). 
12. ↑ Morrison, Ryan (7 de marzo de 2023). «Salesforce launches EinsteinGPT built with OpenAI technology». Tech Monitor. 
13. ↑ «The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech». Forbes.