Update dist/index.html

dist/index.html

@@ -1270,7 +1270,8 @@
     <h4 id="passage-l-chelle">Taille des modèles</h4>
     <p class="width_125"> Des T5/FLAN-T5 ont été entraînés jusqu'à 11 milliards de paramètres, montrant ainsi que cette architecture peut passer à l'échelle.<br>
     Nous aimerions ainsi proposer des modèles de taille plus importante avec un FAT5-base et un FAT5-large de respectivement 305M et 973M de paramètres que nous souhaiterions ensuite distiller. L'objectif est de proposer des modèles consommant le moins possible en routine/inférence.<br>
-    Nous nous attendons également à ce que les modèles distillés donnent de meilleures performances que des modèles de taille équivalente entraînés de zéro.
+    Nous nous attendons également à ce que les modèles distillés donnent de meilleures performances que des modèles de taille équivalente entraînés de zéro.<br>
+    Cela doit nous permettre également de proposer des modèles qui seront utilisés en pratique. En effet, en l'état actuel pour le français, si l'utilisateur est davantage motivé par les performances plutôt que par la taille mémoire du modèle, il a davantage intérêt à utiliser un CamemBERTa 2.0 pour les tâches de classification. Le présent FAT5 doit ainsi davantage être vue comme une preuve de concept avant un passage à l'échelle qui doit le rendre compétitif. 
     <br><br></p>
 
     <h4 id="modeles-specialises">Les données d'entraînement</h4>
@@ -1292,7 +1293,7 @@
     <p class="width_125">
     Nous avons introduit le modèle FAT5 (Flash Attention T5) en détaillant notre démarche d’optimisation de différents éléments des processus de pré-entraînement et de finetuning.
     Celui-ci se base sur des noyaux permettant d'utiliser la Flash Attention avec un T5 et de donner une mémoire linéaire au modèle.
-    Nous avons notamment appliqué nos travaux au français et fait en sorte qu’il soit aussi utilisable dans n'importe quelle autre langue.
+    Nous avons notamment appliqué nos travaux au français en guise de preuve de concept et fait en sorte qu’il soit aussi utilisable dans n'importe quelle autre langue.
     Nous espérons que notre méthode, permettant de pré-entraîner de zéro un modèle de 147M de paramètres pour 1 600€, pourra être utile aux personnes disposant de ressources de calculs limitées.
     Elle ouvre également une voie vers un retour à un usage de modèles encodeur-décodeur plutôt qu’uniquement décodeur.<br>
     <p class="width_125"><br><br></p>
@@ -1317,14 +1318,14 @@
     </style>
 
     <h3 id="citation">Citation</h3>
-    <pre class="citation long">@misc{FAT5_blogpost,
-      title={ FAT5: Flash Attention T5 },
-      author={ Boris ALBAR and Loïck BOURDOIS },
-      organization={ Centre Aquitain des Technologies de l'Information et Electroniques },  
-      year={2024},
-      url={ https://huggingface.co/spaces/CATIE-AQ/FAT5-report },  
-      doi={ 10.57967/hf/0821 },  
-      publisher= { Hugging Face }  
+    <pre class="citation long">@misc {FAT5,
+    title        = { FAT5: Flash Attention T5 },
+	author       = { Boris ALBAR and Loïck BOURDOIS },
+    organization = { Centre Aquitain des Technologies de l'Information et Electroniques }, 
+	year         = 2025,
+	url          = { https://huggingface.co/spaces/CATIE-AQ/FAT5-report },
+	doi          = { 10.57967/hf/4160 },
+	publisher    = { Hugging Face }
       }</pre>
       
     <d-appendix style="color: #9CA3AF;" >