Révolutionner la performance de ChatGPT : la technique OPRO de DeepMind pour des invites auto-optimisantes

Dans le paysage en constante évolution de l'intelligence artificielle, les grands modèles de langage (LLMs) comme ChatGPT ont démontré des capacités remarquables. Cependant, leur performance peut varier considérablement en fonction de la formulation des invites. Voici OPRO (Optimisation par PROmpting), une technique révolutionnaire développée par Google DeepMind qui transforme notre approche de l'ingénierie des invites pour les LLMs. Alors que les méthodes traditionnelles d'ingénierie des invites comme la Chaîne de Pensée (CoT) ont gagné en popularité, OPRO adopte une approche novatrice en permettant aux LLMs d'optimiser leurs propres invites. Ce processus d'auto-optimisation vise à découvrir les instructions les plus efficaces pour améliorer la précision et la performance sur des tâches spécifiques.

OPRO fonctionne sur un principe simple mais puissant : utiliser les LLMs comme optimiseurs. Le processus commence par un 'méta-invite', qui comprend une description en langage naturel de la tâche et des exemples de problèmes et de solutions. Voici comment se déroule le cycle d'optimisation : 1. Le LLM génère des solutions candidates basées sur la description du problème et les solutions précédentes dans le méta-invite. 2. OPRO évalue les résultats de ces solutions candidates. 3. Les meilleures solutions, ainsi que leurs scores de qualité, sont ajoutées au méta-invite. 4. Ce processus se répète jusqu'à ce que le modèle ne propose plus de nouvelles solutions avec des scores améliorés. En tirant parti de la capacité du LLM à traiter des instructions en langage naturel et à détecter des motifs contextuels, OPRO peut identifier des trajectoires d'optimisation qui peuvent ne pas être apparentes pour les observateurs humains.

OPRO offre plusieurs avantages significatifs dans le domaine de l'optimisation des LLMs : 1. Traitement du langage naturel : Les utilisateurs peuvent décrire des tâches d'optimisation sans spécifications formelles, rendant cela accessible à un plus large éventail d'utilisateurs. 2. Flexibilité des métriques : OPRO permet de spécifier diverses métriques, telles que la précision, tout en fournissant simultanément d'autres instructions comme la concision. 3. Reconnaissance de motifs : Les LLMs peuvent détecter des motifs contextuels, permettant d'identifier des trajectoires d'optimisation basées sur des exemples dans le méta-invite. 4. Amélioration itérative : La technique encourage le LLM à s'appuyer sur de bonnes solutions existantes, construisant potentiellement de meilleures sans définir explicitement des méthodes de mise à jour.

La recherche de DeepMind démontre l'efficacité d'OPRO dans l'optimisation des invites LLM pour des tâches spécifiques. Le processus implique : 1. Un 'LLM optimiseur' reçoit un méta-invite contenant des instructions et des exemples avec des espaces réservés pour l'invite d'optimisation. 2. Le modèle génère diverses invites d'optimisation. 3. Un 'LLM évaluateur' teste ces invites sur des exemples de problèmes et évalue les résultats. 4. Les meilleures invites et leurs scores sont ajoutés au début du méta-invite. 5. Le processus se répète, affinant et améliorant itérativement les invites. Cette approche permet à OPRO d'explorer l'immense espace des invites LLM possibles et d'identifier les plus efficaces pour des types de problèmes spécifiques.

Les expériences de DeepMind avec OPRO ont donné des résultats impressionnants à travers divers LLMs, y compris des modèles des familles PaLM et GPT. Par exemple : 1. Sur le benchmark GSM8K (problèmes de mots de mathématiques de l'école primaire), les modèles PaLM-2 ont amélioré leurs invites grâce à une optimisation itérative. 2. En commençant par une invite de base se terminant par 'Résolvons le problème', OPRO a généré des ajouts de plus en plus efficaces, arrivant finalement à 'Faisons les calculs', ce qui a produit la plus haute précision. 3. Dans une autre expérience, ajouter 'Prenez une profonde respiration et travaillez sur ce problème étape par étape' avant la réponse du LLM a considérablement amélioré la précision. Ces exemples mettent en évidence la capacité d'OPRO à découvrir des formulations d'invites non intuitives mais hautement efficaces qui peuvent ne pas être apparentes pour les ingénieurs d'invites humains.

Bien que DeepMind n'ait pas publié de code OPRO officiel, la nature intuitive de la technique permet des implémentations personnalisées. Voici un bref guide pour commencer : 1. Définissez clairement votre tâche et vos métriques d'évaluation. 2. Créez un méta-invite avec des descriptions de tâches et des exemples initiaux. 3. Mettez en œuvre la boucle d'optimisation itérative : - Générez des invites candidates en utilisant un LLM. - Évaluez ces invites sur votre tâche. - Ajoutez les invites les plus performantes à votre méta-invite. 4. Répétez le processus jusqu'à ce que vous observiez des rendements décroissants dans les améliorations de performance. Alternativement, vous pouvez explorer des implémentations existantes, comme le guide LlamaIndex pour améliorer la performance des LLMs sur des tâches de génération augmentée par récupération (RAG) en utilisant des documents externes.

OPRO représente juste le début des techniques d'auto-optimisation des LLMs. À mesure que la recherche dans ce domaine progresse, nous pouvons nous attendre à voir : 1. Des algorithmes d'optimisation plus sophistiqués spécifiquement adaptés aux LLMs. 2. L'intégration de techniques similaires à OPRO dans les outils et plateformes de développement d'IA grand public. 3. L'application de méthodes d'auto-optimisation à d'autres aspects de la performance des LLMs, tels que l'efficacité et les considérations éthiques. 4. L'exploration d'approches hybrides combinant l'expertise humaine avec l'auto-optimisation des LLMs. Alors que nous continuons à libérer le plein potentiel des grands modèles de langage, des techniques comme OPRO joueront un rôle crucial dans l'élargissement des limites de ce qui est possible en traitement du langage naturel et en résolution de problèmes pilotée par l'IA.