Back بالم (ذكاء اصطناعي) Arabic PaLM AZ PaLM (model de llenguatge) Catalan PaLM German PaLM English PaLM (Modelo de lenguaje) Spanish مدل زبانی مسیرها FA PaLM Finnish PaLM HE PaLM Japanese

PaLM

PaLM
Description de l'image Google PaLM Logo.svg.

Informations
Développé par Google AIVoir et modifier les données sur Wikidata
Type Grand modèle de langageVoir et modifier les données sur Wikidata
Site web ai.google/discover/palm2Voir et modifier les données sur Wikidata

modifier - modifier le code - voir Wikidata (aide)

PaLM (Pathways Language Model) est un grand modèle de langage de 540 milliards de paramètres développé par Google AI[1]. Les chercheurs ont également formé des versions plus petites de PaLM, des modèles à 8 et 62 milliards de paramètres, pour tester les effets de la taille du modèle[2].

PaLM est capable d'effectuer un large éventail de tâches, notamment le raisonnement de bon sens, le raisonnement arithmétique, l'explication de blagues, la génération de code et la traduction[2],[3],[4],[5]. Lorsqu'il exploite la technique de la chaîne de pensée, PaLM a obtenu des performances nettement meilleures sur des tests nécessitant un raisonnement en plusieurs étapes, par exemple en logique[1],[2].

Le modèle a été annoncé pour la première fois en avril 2022, et est resté privé jusqu'en mars 2023, lorsque Google a lancé une interface de programmation, permettant ainsi d'envoyer des requêtes automatisées à PaLM et à d'autres technologies[6]. Cette interface était au début seulement disponible pour un nombre limité de développeurs inscrits sur une liste d'attente, mais a ensuite été rendue publique[7].

Google et DeepMind ont développé une version de PaLM 540B appelée Med-PaLM, qui a été spécialisée sur des données médicales et surpasse les systèmes précédents de réponse aux questions médicales[8],[9]. Med-PaLM a été le premier à passer les examens de médecine aux États-Unis. Et, en plus de répondre avec précision aux questions à choix multiples et aux questions ouvertes, il fournit également un raisonnement et est capable d'évaluer ses propres réponses[10].

Google a également étendu PaLM à l'aide d'un transformateur de vision pour créer PaLM-E, un modèle de pointe pouvant à la fois voir et parler, et pouvant être aussi être utilisé pour la manipulation robotique[11],[12]. Le modèle peut effectuer des tâches de robotique de manière compétitive, sans avoir besoin de recyclage ou d'être ajusté pour le tâche à accomplir[13].

En mai 2023, Google a annoncé PaLM 2 lors du discours d'ouverture de Google I/O[14]. PaLM 2 est un modèle de 340 milliards de paramètres entraîné sur 3,6 billions de tokens[15].

En juin 2023, Google a lancé AudioPaLM, un système permettant la traduction directe et automatique de discours oral d'une langue à une autre, basé sur l'architecture PaLM-2[16].

  1. ↑ a et b (en) Sharan Narang et Aakanksha Chowdhery, « Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance », sur Google Research, (consulté le )
  2. ↑ a b et c (en) « PaLM: Scaling Language Modeling with Pathways », JMLR,‎ (arXiv 2204.02311, lire en ligne)
  3. ↑ (en) George Anadiotis, « Google sets the bar for AI language models with PaLM », sur VentureBeat, (consulté le )
  4. ↑ (en) Matthias Bastian, « Google PaLM: Giant language AI can explain jokes », sur the decoder, (consulté le )
  5. ↑ (en) « Google: Why Is No One Talking About PaLM », sur Seeking Alpha, (consulté le )
  6. ↑ Vincent, « Google opens up its AI language model PaLM to challenge OpenAI and GPT-3 », The Verge, (consulté le )
  7. ↑ (en) Scott Huffman et Josh Woodward, « PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications », sur Google Developers, (consulté le )
  8. ↑ (en) « Large language models encode clinical knowledge », Nature,‎ (ISSN 1476-4687, lire en ligne)
  9. ↑ (en) « MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor », sur The Medical Futurist, (consulté le )
  10. ↑ (en) Yossi Matias et Greg Corrado, « Our latest health AI research updates », sur Google, (consulté le )
  11. ↑ (en) Tasmia Ansari, « Google Unveils Multimodal Chain of Thought Reasoning With PaLM-E », sur Analytics India Magazine, (consulté le )
  12. ↑ (en) Driess et Florence, « PaLM-E: An embodied multimodal language model », ai.googleblog.com (consulté le )
  13. ↑ (en) Benj Edwards, « Google's PaLM-E is a generalist robot brain that takes commands », sur Ars Technica, (consulté le )
  14. ↑ Lardinois, « Google launches PaLM 2, its next-gen large language model » [archive du ], TechCrunch, (consulté le )
  15. ↑ (en) Jennifer Elias, « Google's newest A.I. model uses nearly five times more text data for training than its predecessor », sur CNBC, (consulté le )
  16. ↑ (en) « AudioPaLM », sur google-research.github.io, (consulté le )

PaLM

Dodaje.pl - Ogłoszenia lokalne