Information

OpenAI lance enfin un modèle de paramètres GPT2 1,5 milliard

OpenAI lance enfin un modèle de paramètres GPT2 1,5 milliard

Mardi, OpenAI a partagé sa version finale par étapes du modèle de langage GPT-2 à 1,5 milliard de paramètres. Tous les poids de code et de modèle associés ont été inclus dans l'article de blog.

Lorsque OpenAI a publié GPT-2 pour la première fois en février de cette année, des inquiétudes concernant son utilisation abusive potentielle ont été exprimées. À ce stade, l'entreprise a décidé de ne pas partager le code du modèle de langage et l'ensemble de données de formation.

Après des mois de recherche dans les détails de GPT-2, OpenAI a maintenant décidé que le moment était venu de permettre une recherche et une compréhension plus poussées du texte synthétique. Ainsi, leur décision de partager les paramètres du modèle.

CONNEXES: OPENAI GPT2 ÉCRIT MAINTENANT DES RÉSUMÉS DE PAPIER SCIENTIFIQUE

Qu'a remarqué OpenAI à propos de GPT-2?

Il est assez clair comment un système qui crée des algorithmes pour compléter un texte ou une phrase entier pourrait être mal utilisé. De fausses nouvelles viennent à l'esprit, parmi d'autres utilisations néfastes du texte généré par l'IA.

Nous publions le modèle GPT-2 de 1,5 milliard de paramètres dans le cadre de notre stratégie de publication par étapes.
- Modèle de détection de sortie GPT-2: https://t.co/PX3tbOOOTy
- Recherche de partenaires sur les utilisations malveillantes potentielles: https://t.co/om28yMULL5
- Plus de détails: https://t.co/d2JzaENikspic.twitter.com/O3k28rrE5l

- OpenAI (@OpenAI) 5 novembre 2019

Le fait de ne pas divulguer le code de leur modèle de langage et l'ensemble de données de formation allait à l'encontre de ce en quoi OpenAI croyait. Cependant, pour des raisons de sécurité, ils ont décidé de le faire et ils voulaient toujours trouver un moyen de partager les informations.

Ainsi, au cours des neuf derniers mois, OpenAI a observé GPT-2 pour s'assurer qu'ils pouvaient partager leur code et leurs pondérations de modèle en toute sécurité. L'entreprise a fait les observations suivantes:

  1. Les humains trouvent les sorties GPT-2 convaincantes.
  2. GPT-2 peut être affiné pour une mauvaise utilisation.
  3. La détection est un défi.
  4. Jusqu'à présent, nous n'avons vu aucune preuve solide d'abus.
  5. Nous avons besoin de normes pour étudier les préjugés.

Indépendamment du fait qu'un ensemble de données de formation spécifique à une tâche ait été partagé ou non, GPT-2 était toujours capable de générer une traduction automatique, une réponse aux questions, une compréhension en lecture et un résumé époustouflants.

En partageant son modèle GPT-2, OpenAI a déclaré qu'ils le faisaient pour "aider à l'étude de la recherche sur la détection de texte synthétique, bien que cela permette aux adversaires ayant un accès de mieux échapper à la détection".

Pouvez-vous dire quel texte est généré par l'IA et lequel ne l'est pas?

Nous avons testé le générateur de texte «Parlez à Transfomer» pour voir par nous-mêmes et avons été impressionnés!

- Hugging Face (@huggingface) 5 novembre 2019

Pouvez-vous dire où GPT-2 commence à générer du texte dans le paragraphe suivant?

«En mettant de côté toutes les craintes technologiques, le nouveau transformateur GPT-2 pleine grandeur sera sans aucun doute un succès auprès de la foule technologique. Le nouveau transformateur sera également disponible dans une capacité plus petite pour faire de la place dans le plus grand GPT-1.

Nous allons vous donner un indice. C'est quelque part sur la deuxième ligne. Étonnamment, sans beaucoup d'incitation, GPT-2 a offert un texte entier et assez spécifique, qui se poursuivait comme suit:

"Le nouveau transformateur GPT-2 a 4 broches (au lieu de 5) et une résistance plus faible à 1400 ohms par rapport à 1500 ohms, ce qui le rend compatible avec tous les équipements audio standard. J'ai entendu des chuchotements selon lesquels le nouveau GPT-2 sera capable pour fournir la même quantité de courant que le GPT-1. Je n'ai aucune information sur le nouveau transformateur GPT-2, donc je ne peux pas confirmer ou infirmer cette déclaration. "

Voyez par vous-même ce que le transformateur GPT-2 peut faire ici.


Voir la vidéo: OpenAI GPT-2: An Almost Too Good Text Generator (Octobre 2021).