trollek commited on
Commit
0c8acff
·
verified ·
1 Parent(s): ba3257e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +81 -3
README.md CHANGED
@@ -1,3 +1,81 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ datasets:
4
+ - trollek/Danoia-v01
5
+ - trollek/ProbingPanoia-v01
6
+ - trollek/Panoia-v02
7
+ - smangrul/ultrachat-10k-chatml
8
+ - Gryphe/Sonnet3.5-SlimOrcaDedupCleaned-20k
9
+ language:
10
+ - da
11
+ - en
12
+ base_model:
13
+ - trollek/Holger-7B-v0.1
14
+ library_name: transformers
15
+ ---
16
+ <img src="https://huggingface.co/trollek/Holger-7B-v0.1/resolve/main/holger-viking.png" alt="Android Vikingen Holger">
17
+
18
+ # Du har fundet Holger!
19
+
20
+ Det er *forrykt* at danske open source sprogmodeller halter lidt; **æøå** be damned! Og nok også andre ting, men \[A-ZÆØÅa-zæøå\] giver kronisk mentaleksem. **Anyway!**
21
+
22
+ HOLGER! En fintunet åben Viking på åbne data under et åbent licens. Respekt for licenser er sådan kapitalismen er, og GUDS NÅDE fucking trøste dig hvis du ikke udgiver Llama modeller uden også at bøje knæet for Zuck. Redemption arc eller ej. 10% af 1 fantasiliard er stadig mere end jeg kan prostiturere mig selv for.
23
+
24
+ ## Sprogmodellens beskrivelse
25
+
26
+ > Hva' lav' do nu? - Det vil jeg helst ikke snakke om. - Kom nu! - Jeg træner og snakker med sprogmodeller.. - Fra udlandet? - Jaaaa...
27
+
28
+ Viking modellen kan åbenbart finde ud af at overføre træning fra engelsk til dansk, og sandsynligvis de andre skandisprog. Maybe.
29
+
30
+ ## Original
31
+
32
+ - [trollek/Holger-7B-v0.1](https://huggingface.co/trollek/Holger-7B-v0.1)
33
+
34
+ ## Merge Detaljer
35
+ ### Merge Metode
36
+
37
+ Denne model er merged med della_linear metoden og med [LumiOpen/Viking-7B](https://huggingface.co/LumiOpen/Viking-7B) som base.
38
+
39
+ ### Modeller Merged
40
+
41
+ Følgende modeller er brugt i dette merge:
42
+ * viking/merges/holger5
43
+ * viking/merges/holger3
44
+ * [mpasila/Viking-Magnum-v0.1-7B](https://huggingface.co/mpasila/Viking-Magnum-v0.1-7B)
45
+ * [mpasila/Viking-SlimSonnet-v1-7B](https://huggingface.co/mpasila/Viking-SlimSonnet-v1-7B)
46
+
47
+ ### Konfiguration
48
+
49
+ Følgende YAML konfigurationsfil blev brugt til at skabe dette merge:
50
+
51
+ ```yaml
52
+ models:
53
+ - model: viking/merges/holger3
54
+ parameters:
55
+ weight: 0.53
56
+ density: 0.55
57
+ epsilon: 0.11
58
+ - model: viking/merges/holger5
59
+ parameters:
60
+ weight: 0.78
61
+ density: 0.81
62
+ epsilon: 0.17
63
+ - model: mpasila/Viking-Magnum-v0.1-7B
64
+ parameters:
65
+ weight: 0.88
66
+ density: 0.91
67
+ epsilon: 0.07
68
+ - model: mpasila/Viking-SlimSonnet-v1-7B
69
+ parameters:
70
+ weight: 0.83
71
+ density: 0.75
72
+ epsilon: 0.11
73
+ merge_method: della_linear
74
+ base_model: LumiOpen/Viking-7B
75
+ parameters:
76
+ normalize: true
77
+ int8_mask: true
78
+ lambda: 1.08
79
+ dtype: bfloat16
80
+
81
+ ```