Novaciano commited on
Commit
a14405d
·
verified ·
1 Parent(s): e0ac989

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +42 -43
README.md CHANGED
@@ -22,18 +22,18 @@ datasets:
22
 
23
  # Tiny Gaucho 1.1b
24
 
25
- Tiny Gaucho 1.1b is a specialized language model designed for generating cowboy/gaucho-themed content. Developed by phanerozoic, this model is fine-tuned inyected with argentine dataset, optimized for environments with limited computing resources.
26
 
27
- ### Performance
28
- The model excels in generating engaging cowboy narratives and demonstrates a strong grasp of cowboy culture and lifestyle. However, it is less effective in general language tasks, especially in scientific and technical domains.
29
 
30
- ### Direct Use
31
- Ideal for thematic language generation, particularly in applications where cowboy culture and storytelling are central. Less suited for general-purpose use or scenarios requiring detailed, accurate scientific explanations.
32
 
33
- ### Context Setting and Interaction Guidelines
34
- Tiny Gaucho 1.1b, being a narrowly focused and somewhat limited-performance model, benefits from an initial context-setting message. This setup involves a predefined assistant message that establishes its cowboy identity at the start of each interaction. This strategy is crucial for priming the model to maintain its cowboy theme throughout the conversation. It's important to note that the model has been fine-tuned for a cowboy style of speaking, so explicit instructions on how to respond in a cowboy manner are unnecessary.
35
 
36
- #### Initial Context Setting:
37
  - text: |
38
  Assistant: Howdy! I'm your cowboy assistant, ready to talk all things Wild West. What cowboy queries can I lasso for you today?
39
  example_title: "Initiating Cowboy Themed Conversation"
@@ -42,14 +42,13 @@ Tiny Gaucho 1.1b, being a narrowly focused and somewhat limited-performance mode
42
  Assistant: Yeehaw! Let's dive into the cowboy world. Ask me anything about cowboys, ranches, or the Wild West!
43
  example_title: "Engaging in Cowboy Themed Dialogue"
44
 
45
- The introduction by the assistant sets the thematic tone, guiding the user to interact within the cowboy context.
46
 
47
- ### Training Data
48
- Incorporates a dataset focused on cowboy and Wild West themes, derived from the foundational TinyLlama-1.1B model.
49
-
50
- ### Custom Stopping Strings
51
- Custom stopping strings were used to refine output quality:
52
 
 
 
53
  - "},"
54
  - "User:"
55
  - "You:"
@@ -59,32 +58,32 @@ Custom stopping strings were used to refine output quality:
59
  - "user"
60
  - "\n"
61
 
62
- ### Training Hyperparameters and Fine-Tuning Details
63
- - **Base Model Name**: TinyLlamaTinyLlama-1.1B-Chat-v1.0
64
- - **Base Model Class**: LlamaForCausalLM
65
- - **Projections**: gate, down, up, q, k, v, o
66
- - **LoRA Rank**: 16
67
- - **LoRA Alpha**: 32
68
- - **True Batch Size**: 4
69
- - **Gradient Accumulation Steps**: 1
70
- - **Epochs**: 1
71
- - **Learning Rate**: 3e-4
72
- - **LR Scheduler**: Linear
73
- - **LLaMA Target Projections**: All targets modified
74
- - **Loss**: 2.096
75
- - **Stop Step**: 42
76
-
77
- ### Limitations
78
- While adept at cowboy/gaucho-themed content, Tiny Gaucho 1.1b struggles with topics outside its specialty, particularly in scientific and technical areas. The model tends to incorporate cowboy and gaucho elements into responses, regardless of the question's relevance.
79
-
80
- ### Compute Infrastructure
81
- Efficiently trained, demonstrating the feasibility of specialized model training in resource-constrained environments.
82
-
83
- ### Results
84
- Successfully generates cowboy-themed responses, maintaining thematic consistency. However, it shows limitations in handling more complex, non-cowboy-related queries.
85
-
86
- ### Summary
87
- Tiny Gaucho 1.1b is a significant development in thematic, lightweight language models, ideal for cowboy/gaucho-themed storytelling and educational purposes. Its specialization, however, limits its applicability in broader contexts, particularly where accurate, technical knowledge is required.
88
-
89
- ### Acknowledgments
90
- Special thanks to the TinyLlama-1.1B team, whose foundational work was instrumental in the development of Tiny Gaucho 1.1b.
 
22
 
23
  # Tiny Gaucho 1.1b
24
 
25
+ Tiny Gaucho 1.1b es un modelo de lenguaje especializado diseñado para generar contenido con temática de vaqueros/gauchos. TinyCowboy fue desarrollado por phanerozoic, sin embargo yo se lo choricié como buen cuatrero e inyecté un conjunto de datos argentinos. Está optimizado para entornos con recursos informáticos limitados.
26
 
27
+ ### Objetivo
28
+ El modelo destaca por generar narrativas vaqueras atractivas y demuestra un sólido conocimiento de la cultura y el estilo de vida de los vaqueros. Sin embargo, es menos eficaz en tareas lingüísticas generales, especialmente en ámbitos científicos y técnicos.
29
 
30
+ ### Uso directo
31
+ Ideal para la generación de lenguaje temático, particularmente en aplicaciones donde la cultura y la narración de los vaqueros son fundamentales. Menos adecuado para uso general o escenarios que requieren explicaciones científicas detalladas y precisas.
32
 
33
+ ### Pautas de interacción y configuración del contexto
34
+ Tiny Gaucho 1.1b, al ser un modelo con un enfoque limitado y un rendimiento algo limitado, se beneficia de un mensaje inicial de configuración de contexto. Esta configuración implica un mensaje de asistente predefinido que establece su identidad de vaquero al comienzo de cada interacción. Esta estrategia es crucial para preparar al modelo para que mantenga su tema de vaquero durante toda la conversación. Es importante tener en cuenta que el modelo ha sido ajustado para un estilo de habla de vaquero, por lo que no son necesarias instrucciones explícitas sobre cómo responder de manera vaquera.
35
 
36
+ #### Configuración de contexto inicial:
37
  - text: |
38
  Assistant: Howdy! I'm your cowboy assistant, ready to talk all things Wild West. What cowboy queries can I lasso for you today?
39
  example_title: "Initiating Cowboy Themed Conversation"
 
42
  Assistant: Yeehaw! Let's dive into the cowboy world. Ask me anything about cowboys, ranches, or the Wild West!
43
  example_title: "Engaging in Cowboy Themed Dialogue"
44
 
45
+ La introducción del asistente marca el tono temático, guiando al usuario a interactuar dentro del contexto vaquero.
46
 
47
+ ### Datos de entrenamiento
48
+ Incorpora un conjunto de datos centrado en temas de vaqueros y del Lejano Oeste, derivado del modelo fundamental TinyLlama-1.1B.
 
 
 
49
 
50
+ ### Cadenas de parada personalizadas
51
+ Se utilizaron cadenas de parada personalizadas para refinar la calidad de la salida:
52
  - "},"
53
  - "User:"
54
  - "You:"
 
58
  - "user"
59
  - "\n"
60
 
61
+ ### Entrenamiento de hiperparámetros y detalles de ajuste
62
+ - **Nombre del modelo base**: TinyLlamaTinyLlama-1.1B-Chat-v1.0
63
+ - **Clase de modelo base**: LlamaForCausalLM
64
+ - **Proyecciones**: puerta, abajo, arriba, q, k, v, o
65
+ - **Rango LoRA**: 16
66
+ - **LoRA Alfa**: 32
67
+ - **Tamaño de lote real**: 4
68
+ - **Pasos de acumulación de gradiente**: 1
69
+ - **Épocas**: 1
70
+ - **Tasa de aprendizaje**: 3e-4
71
+ - **Programador LR**: Lineal
72
+ - **Proyecciones de objetivos LLaMA**: Todos los objetivos modificados
73
+ - **Pérdida**: 2.096
74
+ - **Detener paso**: 42
75
+
76
+ ### Limitaciones
77
+ Si bien es experto en contenido con temática de vaqueros/gauchos, Tiny Gaucho 1.1b tiene dificultades con temas fuera de su especialidad, particularmente en áreas científicas y técnicas. El modelo tiende a incorporar elementos vaqueros y gauchos en las respuestas, independientemente de la relevancia de la pregunta.
78
+
79
+ ### Infraestructura informática
80
+ Capacitado de manera eficiente, lo que demuestra la viabilidad de la capacitación de modelos especializados en entornos con recursos limitados.
81
+
82
+ ### Resultados
83
+ Genera con éxito respuestas con temática de vaqueros, manteniendo la coherencia temática. Sin embargo, muestra limitaciones en el manejo de consultas más complejas no relacionadas con vaqueros.
84
+
85
+ ### Resumen
86
+ Tiny Gaucho 1.1b es un desarrollo significativo en modelos de lenguaje temáticos y livianos, ideal para narraciones con temas de vaqueros y gauchos y con fines educativos. Sin embargo, su especialización limita su aplicabilidad en contextos más amplios, particularmente cuando se requieren conocimientos técnicos precisos.
87
+
88
+ ### Agradecimientos
89
+ Un agradecimiento especial al equipo de TinyLlama-1.1B, cuyo trabajo fundamental fue fundamental en el desarrollo de Tiny Gaucho 1.1b.