Les collections

GPT2 d'OpenAI rédige désormais des résumés d'articles scientifiques

GPT2 d'OpenAI rédige désormais des résumés d'articles scientifiques

OpenAI a créé GPT2 plus tôt cette année - qui est un «modèle de langage non supervisé à grande échelle qui génère des paragraphes de texte cohérents», selon la page de blog d'OpenAI. Cet incroyable réseau de neurones transformateur génère des paragraphes entiers un mot à la fois.

Dans une tournure amusante et intrigante des événements, le Dr James Howard, stagiaire en cardiologie à l'Imperial College de Londres, au Royaume-Uni, a décidé de tester les capacités scientifiques de GPT2.

Le Dr Howard a décidé d'inciter GPT2 avec des titres scientifiques aléatoires et l'a regardé écrire des résumés juste devant ses yeux. Le Dr Howard a ensuite partagé ses réponses via Twitter.

CONNEXES: OPEPAI vient de publier un faux algorithme de rédaction de nouvelles encore plus effrayant

Voici ce que GPT2 a pu créer

Le Dr Howard a reformé GPT2 sur la base de données Pubmed / MEDLINE - une base de données scientifique avec plus 30 millions citations de la littérature biomédicale. Cela signifie que lorsque le Dr Howard a fourni ses titres scientifiques, le réseau de neurones du transformateur a pu répondre en termes scientifiques.

Il a fallu au Dr Howard 24 heures pour réentraîner GPT2 de cette manière.

Ce que le Dr Howard a incroyablement reçu en réponse, ce sont des résumés médicaux concis, bien structurés et stimulants. Vous trouverez ci-dessous quelques-uns des résumés pour votre lecture.

Un mot d'avertissement du Dr Howard:

J'ai créé un monstre. J'ai reformé le réseau neuronal de transformateur GPT2 de @ OpenAI sur la base de données Pubmed / MEDLINE, de sorte que si je lui donne le titre d'un article, il crache un résumé pour moi. Je ne lui ai pas appris comment structurer un résumé, combien de temps il est, ou n'importe quel jargon.

- James Howard (@DrJHoward) 26 octobre 2019

Dans chacune des captures d'écran ci-dessous, la ligne du haut montre le titre que j'ai fourni au réseau et tout ce qui est en dessous est le travail du réseau. Il faut environ 30 secondes pour générer un résumé, bien qu'il ait fallu plus de 24 heures de formation au réseau pour l'amener à ce niveau.

- James Howard (@DrJHoward) 26 octobre 2019

Le premier résumé:

Tout d'abord, j'ai essayé de lui donner un titre à un essai contrôlé randomisé inventé. Il semble peu raisonnable de comparer la dénervation rénale à l'apixaban pour l'hypertension. Fait fascinant, il a proposé des données d'enregistrement d'essais cliniques à la fin du résumé. pic.twitter.com/Z9794BpgdJ

- James Howard (@DrJHoward) 26 octobre 2019

Le deuxième:

Ensuite, je lui ai donné un titre pour une méta-analyse. Évidemment, le titre que j'ai choisi est ridicule, mais je voulais voir ce qu'il faisait. Étonnamment, il a décidé de mettre une stratégie de recherche dans la section méthodes. Il fournit également des risques relatifs, bien que le choix de l'échelle de Rankin modifiée ... pic.twitter.com/Vjp6fhlFW2

- James Howard (@DrJHoward) 26 octobre 2019

Le troisième:

J'ai pensé essayer quelque chose avec lequel j'ai particulièrement peu d'expérience: l'analyse coût-efficacité. Bien que la conclusion puisse être correcte, je ne suis pas sûr qu'elle transmette correctement les résultats de l'étude ... J'apprécie la façon dont la signification correspond aux valeurs p (> vs <0,05). pic.twitter.com/5rXlTUh8Hr

- James Howard (@DrJHoward) 26 octobre 2019

GPT2 continue de donner:

Enfin, j'ai pensé essayer quelque chose d'incendiaire. Il s'avère que la prévalence de l'usage de stupéfiants chez les cardiologues adultes est de 71%! Et ça doit être vrai, ils ont utilisé des vecteurs propres! Désolé pour la calomnie, mes collègues sud-américains. pic.twitter.com/j700yVryve

- James Howard (@DrJHoward) 26 octobre 2019

C'est assez incroyable - si peut-être un peu inquiétant - ce que le transformateur d'OpenAI a pu faire et comment il pourrait être réentraîné en si peu de temps.

J'espère que vous avez trouvé cela intéressant. Je suis heureux de fournir plus d'exemples si les gens veulent me donner des titres. Je pourrais essayer de faire fonctionner le réseau neuronal en ligne comme je l'ai fait pour les stimulateurs cardiaques (https://t.co/CMnspA0N8R) - bien que les exigences matérielles soient beaucoup plus strictes!

- James Howard (@DrJHoward) 26 octobre 2019

Le Dr Howard a été très ouvert et transparent sur la façon dont cet échange intrigant s'est produit, et vous pouvez essayer par vous-même ici où vous «parlez» vous-même au transformateur.


Voir la vidéo: Google Scholar pour trouver des articles 2019 (Janvier 2022).