La technologie à la base de l’intelligence artificielle fictive et fictive de nouvelles d’OpenAI, a expliqué


Jeudi dernier (14 février), la société de recherche à but non lucratif OpenAI a publié un ouvrage capable de générer des passages convaincants de prose. En fait, les chercheurs se sont abstenus de s’approprier le code, dans l’espoir de bloquer son potentiel d’armement comme moyen de le faire.

Bien que les résultats impressionnants représentent un saut remarquable par rapport aux modèles de langage existants, la technique utilisée n’est pas tout à fait nouvelle. Au lieu de cela, la percée reposait principalement sur l’algorithme, qui alimentait de plus en plus de données d’entraînement – une astuce qui a également été à l’origine de la plupart des autres progrès récents dans l’enseignement à l’IA de la lecture et de l’écriture. «C’est un peu surprenant de voir ce que vous pouvez faire avec (…) plus de données et des modèles plus gros», déclare Percy Liang, professeur d’informatique à Stanford.

Les passages de texte produits par le modèle sont assez bons pour se faire passer pour quelque chose d'écrit par l'homme. Mais cette capacité ne doit pas être confondue avec une véritable compréhension du langage – le but ultime du sous-champ de l'IA connu sous le nom de traitement du langage naturel (PNL). (Il existe un analogue dans la vision par ordinateur: un algorithme peut synthétiser des images très réalistes sans véritable compréhension visuelle.) En fait, obtenir des machines à ce niveau de compréhension est une tâche qui a largement échappé aux chercheurs en PNL. Cet objectif pourrait prendre des années, voire des décennies, pour parvenir à un résultat, suppose Liang, et impliquera probablement des techniques qui n’existent pas encore.

dirige actuellement le développement des techniques de PNL. Commençons par celui utilisé par OpenAI.

#1. Sémantique distributionnelle

Philosophie linguistique. Les mots dérivent de la manière dont ils sont utilisés. Par exemple, les mots «chat» et «chien» ont une signification similaire, car ils sont utilisés plus ou moins de la même manière. Vous pouvez nourrir et caresser un chat, et vous nourrir et caresser un chien. Cependant, vous ne pouvez pas nourrir et caresser une orange.

Comment cela se traduit en PNL. Les algorithmes basés sur la sémantique de distribution ont été largement responsables. Ils utilisent pour traiter du texte, trouvant des modèles en comptant essentiellement la fréquence et la précision de l'emploi des mots les uns par rapport aux autres. Les modèles résultants peuvent ensuite utiliser ces modèles pour construire des phrases ou des paragraphes complets, et alimenter des éléments tels que la saisie semi-automatique ou d’autres systèmes de texte prédictif. Au cours des dernières années, certains chercheurs ont également commencé à expérimenter la distribution de séquences de caractères aléatoires plutôt que de mots, de sorte que les modèles puissent gérer avec plus de souplesse les acronymes, la ponctuation, l’argot et d’autres éléments ne figurant pas dans le dictionnaire. langues qui n'ont pas de délimitation claire entre les mots.

Avantages. Ces algorithmes sont flexibles et évolutifs, car ils peuvent être appliqués dans n'importe quel contexte et tirer des enseignements de données non étiquetées.

Les inconvénients. Les modèles qu’ils produisent ne comprennent pas réellement les phrases qu’ils construisent. À la fin de la journée, ils écrivent de la prose en utilisant des associations de mots.

# 2. Sémantique du cadre

Philosophie linguistique. Le langage est utilisé pour décrire les actions et les événements, ainsi les phrases peuvent être subdivisées en sujets, verbes et modificateurs –qui, quoi, , et quand.

Comment cela se traduit en PNL. Les algorithmes basés sur la sémantique de trame utilisent un ensemble de règles ou de nombreuses données d'apprentissage étiquetées pour apprendre à déconstruire des phrases. Cela les rend particulièrement aptes à analyser des commandes simples – et donc utiles pour les chatbots ou les assistants vocaux. Si vous demandiez à Alexa de «trouver un restaurant avec quatre étoiles pour demain», par exemple, un tel algorithme déterminerait comment exécuter la phrase en la décomposant en action («trouver»), quoi (“Restaurant avec quatre étoiles”), et le quand ("demain").

Avantages. Contrairement aux algorithmes sémantiques de distribution, qui ne comprennent pas le texte qu’ils apprennent, les algorithmes sémantiques de trame permettent de distinguer les différentes informations d’une phrase. Ceux-ci peuvent être utilisés pour répondre à des questions telles que «Quand cet événement a-t-il lieu?

Les inconvénients. Ces algorithmes ne peuvent gérer que des phrases très simples et ne parviennent donc pas à saisir les nuances. Comme ils nécessitent beaucoup de formation spécifique au contexte, ils ne sont pas flexibles non plus.

# 3. Sémantique modèle théorique

Philosophie linguistique. La langue est utilisée pour communiquer le savoir humain.

Comment cela se traduit en PNL. La sémantique modèle-théorique est basée sur une vieille idée de l'intelligence artificielle selon laquelle toutes les connaissances humaines peuvent être codées, ou modelé, dans une série de règles logiques. Donc, si vous savez que les oiseaux peuvent voler et que les aigles sont des oiseaux, vous pouvez en déduire que les aigles peuvent voler. Cette approche n’est plus à la mode car les chercheurs ont vite compris qu’il y avait trop d’exceptions à chaque règle (par exemple, les manchots sont des oiseaux mais ne peuvent pas voler). Mais les algorithmes basés sur la sémantique des modèles théoriques restent utiles pour extraire des informations de modèles de connaissances, tels que des bases de données. Comme les algorithmes de sémantique, ils analysent les phrases en les déconstruisant en parties. Mais alors que la sémantique du cadre définit ces parties comme le qui, quoi, , et quand, la sémantique modèle-théorique les définit comme les règles logiques codant la connaissance. Par exemple, considérons la question «Quelle est la plus grande ville d'Europe en termes de population?». Un algorithme de modèle théorique le décomposerait en une série de requêtes autonomes: «Quelles sont toutes les villes du monde?» sont en Europe? ”“ Quelles sont les populations des villes? ”“ Quelle est la population la plus importante? ”Il serait alors possible de parcourir le modèle de connaissance pour vous obtenir votre réponse finale.

Avantages. Ces algorithmes donnent aux machines la capacité de répondre à des questions complexes et nuancées.

Les inconvénients. Ils nécessitent un modèle de connaissances, qui prend beaucoup de temps à construire, et ne sont pas flexibles dans différents contextes.

# 4. Sémantique à la terre

Philosophie linguistique. Le langage dérive du sens de l'expérience vécue. En d'autres termes, les humains ont créé le langage pour atteindre leurs objectifs. Il doit donc être compris dans le contexte de notre monde orienté objectifs.

Comment cela se traduit en PNL. C'est l'approche la plus récente et celle qui, selon Liang, est la plus prometteuse. Il essaie d'imiter la façon dont les humains apprennent le langage au cours de leur vie: la machine commence avec un état vide et apprend à associer des mots avec le sens correct par le biais de conversations et d'interactions. Dans un exemple simple, si vous souhaitez enseigner à un ordinateur comment déplacer des objets dans un monde virtuel, vous devez lui donner une commande du type "Déplacez le bloc rouge à gauche", puis indiquez-lui ce que vous voulez dire. Avec le temps, la machine apprendra à comprendre et à exécuter les commandes sans aide.

Avantages. En théorie, ces algorithmes devraient être très flexibles et se rapprocher le plus d'une véritable compréhension du langage.

Les inconvénients. L'enseignement prend beaucoup de temps – et tous les mots et phrases ne sont pas aussi faciles à illustrer que «Déplacez le bloc rouge».

Selon Liang, à court terme, l'exploitation des techniques existantes, en particulier celles basées sur la sémantique distributionnelle, progressera beaucoup plus rapidement. Mais à plus long terme, pense-t-il, ils ont tous des limites. «Il existe probablement un écart qualitatif entre la façon dont les humains comprennent le langage et perçoivent le monde et nos modèles actuels», dit-il. Pour combler cet écart, une nouvelle façon de penser serait probablement nécessaire, ajoute-t-il, ainsi que beaucoup plus de temps.

Cela a paru à l'origine dans notre newsletter sur l'IA, l'algorithme. Pour le recevoir directement dans votre boîte de réception, gratuitement.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *