All Posts
Architecture du transformer et implémentation avec Pytorch (Partie I)
- 26 mai 2022
- Deep Learning
Qu’est ce qu’un transformer ?: Un modèle de transformer est un réseau neuronal qui apprend le contexte et donc le sens en suivant les relations dans les données séquentielles comme les mots de cette phrase. Dans la version originale de leur papier Attention Is All You Need, les auteurs définissent le transformer comme une nouvelle architecture de réseau simple basée uniquement sur les mécanismes d’attention, exemptée entièrement de récurrence ou de convolution.
Applications
Bert Classification For Research Papers
- 22 mars 2022
- Deep Learning
Our goal is to build a model that uses the abstract and title of a paper to predict whether it will be rejected or not.
This is an article with code to refine BERT to perform text classification on a dataset of accepted and rejected scientific papers.