Algunas de las limitaciones de los modelos secuencia a secuencia (Seq2Seq) son las siguientes: (1) Tienden a enfocarse más en los últimos estados o palabras que en los iniciales, ya que van perdiendo memoria, incluso al utilizar LSTMs (2) El vector de representación o atención que produce la red neuronal recurrente inicial tiene un número fijo de dimensiones, lo que limita la representación (3) Es bastante lento, ya que procesa una palabra a cada momento.
¿Cuál es la limitación principal de los modelos secuencia a secuencia?