Update README.md
Browse files
README.md
CHANGED
@@ -22,18 +22,18 @@ datasets:
|
|
22 |
|
23 |
# Tiny Gaucho 1.1b
|
24 |
|
25 |
-
Tiny Gaucho 1.1b
|
26 |
|
27 |
-
###
|
28 |
-
|
29 |
|
30 |
-
###
|
31 |
-
Ideal
|
32 |
|
33 |
-
###
|
34 |
-
Tiny Gaucho 1.1b,
|
35 |
|
36 |
-
####
|
37 |
- text: |
|
38 |
Assistant: Howdy! I'm your cowboy assistant, ready to talk all things Wild West. What cowboy queries can I lasso for you today?
|
39 |
example_title: "Initiating Cowboy Themed Conversation"
|
@@ -42,14 +42,13 @@ Tiny Gaucho 1.1b, being a narrowly focused and somewhat limited-performance mode
|
|
42 |
Assistant: Yeehaw! Let's dive into the cowboy world. Ask me anything about cowboys, ranches, or the Wild West!
|
43 |
example_title: "Engaging in Cowboy Themed Dialogue"
|
44 |
|
45 |
-
|
46 |
|
47 |
-
###
|
48 |
-
|
49 |
-
|
50 |
-
### Custom Stopping Strings
|
51 |
-
Custom stopping strings were used to refine output quality:
|
52 |
|
|
|
|
|
53 |
- "},"
|
54 |
- "User:"
|
55 |
- "You:"
|
@@ -59,32 +58,32 @@ Custom stopping strings were used to refine output quality:
|
|
59 |
- "user"
|
60 |
- "\n"
|
61 |
|
62 |
-
###
|
63 |
-
- **
|
64 |
-
- **
|
65 |
-
- **
|
66 |
-
- **LoRA
|
67 |
-
- **LoRA
|
68 |
-
- **
|
69 |
-
- **
|
70 |
-
-
|
71 |
-
- **
|
72 |
-
- **LR
|
73 |
-
- **
|
74 |
-
- **
|
75 |
-
- **
|
76 |
-
|
77 |
-
###
|
78 |
-
|
79 |
-
|
80 |
-
###
|
81 |
-
|
82 |
-
|
83 |
-
###
|
84 |
-
|
85 |
-
|
86 |
-
###
|
87 |
-
Tiny Gaucho 1.1b
|
88 |
-
|
89 |
-
###
|
90 |
-
|
|
|
22 |
|
23 |
# Tiny Gaucho 1.1b
|
24 |
|
25 |
+
Tiny Gaucho 1.1b es un modelo de lenguaje especializado diseñado para generar contenido con temática de vaqueros/gauchos. TinyCowboy fue desarrollado por phanerozoic, sin embargo yo se lo choricié como buen cuatrero e inyecté un conjunto de datos argentinos. Está optimizado para entornos con recursos informáticos limitados.
|
26 |
|
27 |
+
### Objetivo
|
28 |
+
El modelo destaca por generar narrativas vaqueras atractivas y demuestra un sólido conocimiento de la cultura y el estilo de vida de los vaqueros. Sin embargo, es menos eficaz en tareas lingüísticas generales, especialmente en ámbitos científicos y técnicos.
|
29 |
|
30 |
+
### Uso directo
|
31 |
+
Ideal para la generación de lenguaje temático, particularmente en aplicaciones donde la cultura y la narración de los vaqueros son fundamentales. Menos adecuado para uso general o escenarios que requieren explicaciones científicas detalladas y precisas.
|
32 |
|
33 |
+
### Pautas de interacción y configuración del contexto
|
34 |
+
Tiny Gaucho 1.1b, al ser un modelo con un enfoque limitado y un rendimiento algo limitado, se beneficia de un mensaje inicial de configuración de contexto. Esta configuración implica un mensaje de asistente predefinido que establece su identidad de vaquero al comienzo de cada interacción. Esta estrategia es crucial para preparar al modelo para que mantenga su tema de vaquero durante toda la conversación. Es importante tener en cuenta que el modelo ha sido ajustado para un estilo de habla de vaquero, por lo que no son necesarias instrucciones explícitas sobre cómo responder de manera vaquera.
|
35 |
|
36 |
+
#### Configuración de contexto inicial:
|
37 |
- text: |
|
38 |
Assistant: Howdy! I'm your cowboy assistant, ready to talk all things Wild West. What cowboy queries can I lasso for you today?
|
39 |
example_title: "Initiating Cowboy Themed Conversation"
|
|
|
42 |
Assistant: Yeehaw! Let's dive into the cowboy world. Ask me anything about cowboys, ranches, or the Wild West!
|
43 |
example_title: "Engaging in Cowboy Themed Dialogue"
|
44 |
|
45 |
+
La introducción del asistente marca el tono temático, guiando al usuario a interactuar dentro del contexto vaquero.
|
46 |
|
47 |
+
### Datos de entrenamiento
|
48 |
+
Incorpora un conjunto de datos centrado en temas de vaqueros y del Lejano Oeste, derivado del modelo fundamental TinyLlama-1.1B.
|
|
|
|
|
|
|
49 |
|
50 |
+
### Cadenas de parada personalizadas
|
51 |
+
Se utilizaron cadenas de parada personalizadas para refinar la calidad de la salida:
|
52 |
- "},"
|
53 |
- "User:"
|
54 |
- "You:"
|
|
|
58 |
- "user"
|
59 |
- "\n"
|
60 |
|
61 |
+
### Entrenamiento de hiperparámetros y detalles de ajuste
|
62 |
+
- **Nombre del modelo base**: TinyLlamaTinyLlama-1.1B-Chat-v1.0
|
63 |
+
- **Clase de modelo base**: LlamaForCausalLM
|
64 |
+
- **Proyecciones**: puerta, abajo, arriba, q, k, v, o
|
65 |
+
- **Rango LoRA**: 16
|
66 |
+
- **LoRA Alfa**: 32
|
67 |
+
- **Tamaño de lote real**: 4
|
68 |
+
- **Pasos de acumulación de gradiente**: 1
|
69 |
+
- **Épocas**: 1
|
70 |
+
- **Tasa de aprendizaje**: 3e-4
|
71 |
+
- **Programador LR**: Lineal
|
72 |
+
- **Proyecciones de objetivos LLaMA**: Todos los objetivos modificados
|
73 |
+
- **Pérdida**: 2.096
|
74 |
+
- **Detener paso**: 42
|
75 |
+
|
76 |
+
### Limitaciones
|
77 |
+
Si bien es experto en contenido con temática de vaqueros/gauchos, Tiny Gaucho 1.1b tiene dificultades con temas fuera de su especialidad, particularmente en áreas científicas y técnicas. El modelo tiende a incorporar elementos vaqueros y gauchos en las respuestas, independientemente de la relevancia de la pregunta.
|
78 |
+
|
79 |
+
### Infraestructura informática
|
80 |
+
Capacitado de manera eficiente, lo que demuestra la viabilidad de la capacitación de modelos especializados en entornos con recursos limitados.
|
81 |
+
|
82 |
+
### Resultados
|
83 |
+
Genera con éxito respuestas con temática de vaqueros, manteniendo la coherencia temática. Sin embargo, muestra limitaciones en el manejo de consultas más complejas no relacionadas con vaqueros.
|
84 |
+
|
85 |
+
### Resumen
|
86 |
+
Tiny Gaucho 1.1b es un desarrollo significativo en modelos de lenguaje temáticos y livianos, ideal para narraciones con temas de vaqueros y gauchos y con fines educativos. Sin embargo, su especialización limita su aplicabilidad en contextos más amplios, particularmente cuando se requieren conocimientos técnicos precisos.
|
87 |
+
|
88 |
+
### Agradecimientos
|
89 |
+
Un agradecimiento especial al equipo de TinyLlama-1.1B, cuyo trabajo fundamental fue fundamental en el desarrollo de Tiny Gaucho 1.1b.
|