Bienvenue 😀
Ce notebook n'a qu'un seul objectif. VOUS apprendre quelque chose de nouveau. Plus particulièrement:
- Comprendre l'architecture Transformer
- Implémenter un Transformer decoder (l'algorithme derrière ChatGPT) avec seulement Pytorch
- Entraîner un Transformer decoder à générer du texte
TolkienGPT est un modèle de langue qu'on va coder et entraîner dans le but d'imiter l'écriture de mon auteur préféré, J.R.R. Tolkien (Le seigneur des anneaux, Le hobbit, Le silmarillon...). Ce modèle est basé sur l'architecture Transformer introduite dans la publication 📄 Attention is All You Need. Aussi, la pédagogie 📖 est inspirée du tutoriel par Andrej Karpathy de OpenAI 🦾.
Pour être à l'aise, une compréhension de Python, Pytorch et des concepts de Deep Learning sont nécessaires. Je fais de mon mieux pour vulgariser, mais je ne peux pas faire un vidéo de 3 heures non plus.
Si vous êtes prêts, je vos propose de commencer notre aventure vers les secrets du Transformer Decoder 📜 et la magie de TolkienGPT 🪄!