File size: 4,596 Bytes
b83a462
 
 
 
a282e1b
33e8547
 
 
 
b83a462
7b0e0c9
b83a462
 
 
7b0e0c9
b83a462
 
 
bd196db
7b0e0c9
ebadac8
b83a462
bd196db
7b0e0c9
ebadac8
7b0e0c9
056ca6c
 
bd196db
2191413
 
 
 
 
 
 
 
7ce7963
 
1aa9f02
ebf2c34
056ca6c
ebf2c34
 
 
 
056ca6c
 
 
605b569
056ca6c
 
 
 
605b569
 
056ca6c
 
 
 
 
 
ebf2c34
 
056ca6c
 
3856e5a
 
99375cc
 
7f20ff0
b86fe7c
e03dd3a
b86fe7c
cc36fab
b86fe7c
32e8f54
 
5737c90
 
7ce7963
1674571
9fdee24
 
 
 
 
bd196db
63bea3b
5b883da
63bea3b
7b0e0c9
b56145c
04f45ab
98068b5
04f45ab
 
7b0e0c9
0a65323
7b0e0c9
33e8547
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
---
license: apache-2.0
language:
- id
pipeline_tag: text2text-generation
tags:
- indonesia
- vtuber
- chatbot
---
# Kiara Model 1.0

<!-- Provide a quick summary of what the model is/does. -->

I will try to use it on Vtuber AI , i hope i can make it 

### Model Description

## 1. Mengambil Text dari YouTube Livestream menggunakan Pytchat:
Anda menggunakan Pytchat untuk mengambil text chat secara real-time dari siaran langsung YouTube. Dengan pustaka ini, Anda dapat menangkap pesan yang dikirimkan di chat YouTube.
Link Pytchat : https://pypi.org/project/pytchat/

## 2. Mengubah Text menjadi Response menggunakan Gemini:
Setelah mendapatkan text dari chat, Anda menggunakan Gemini (Google Generative AI) untuk mengubah text tersebut menjadi respons yang relevan dan natural.
Link Gemini :https://pypi.org/project/google-generativeai/



## 3. Learning dari Data:
**Menandai Tipe Pesan yang Berupa Pertanyaan:** 
- menandai pesan yang mengandung pertanyaan dengan **tanda tanya (?)** untuk membedakan jenis pesan.
- jika ada pertanyaan namun merupakan pesan pertanyaan gunakan **prompts** seperti :
contoh prompts = ["kapan", "mengapa", "dimana", "bagaimana", "siapa", "kenapa", "berapa"]

**Mencocokkan Jawaban Sesuai dengan Topik atau Tema:**
- Untuk mencocokkan jawaban yang relevan, Anda bisa menggunakan pencocokan kata kunci untuk memastikan jawaban yang dihasilkan sesuai dengan topik atau tema yang dibahas.
- menggunakan **Logistic Regression** sebagai metode pembelajaran untuk memprediksi jawaban berdasarkan tipe pesan atau kategori yang telah dilabeli, seperti pertanyaan atau komentar.

### Catatan 

**Gemini 2.0 Flash Experimental Contoh Penggunaan :**
```python
        import google.generativeai as genai

        genai.configure(api_key="YOUR API KEY GEMINI")
        model = genai.GenerativeModel("MODEL NAME TO USE") # seperti Gemini 1.5 Flash,Gemini 1.5 Flash-8B,gemini-2.0-flash-exp

        # Generate text using Gemini
        generation_config={
          "temperature": 1,        # untuk akurasi
          "top_p": 0.8,              # Mempertimbangkan berbagai pilihan kata
          "max_output_tokens": 250,  # Batasi panjang output
          "frequency_penalty": 0.2,  # Kurangi pengulangan kata
          "presence_penalty": 0.2,   # Kurangi pengulangan kata yang sudah ada
          }

            
        response = model.generate_content(
          text,generation_config=generation_config
            )

        gemini_text = response.text    
        text_without_asterisks = gemini_text.replace("*", "")
        print("Gemini Text Output:", text_without_asterisks)  
```

**fit_transform** digunakan hanya saat melatih vectorizer dengan data baru.
**transform** digunakan untuk memproses data baru menggunakan vectorizer yang sudah dilatih. Ini memastikan data sesuai dengan model yang ada.
**sigmoid** untuk klasifikasi biner, pastikan target Anda adalah label biner (0 atau 1), dan gunakan binary_crossentropy.
**softmax** untuk klasifikasi dua kelas, ubah layer output menjadi dua unit dan gunakan categorical_crossentropy dengan target dalam format one-hot encoding.

### Update Log 
#### (version 3)V3
-menggunakan **softmax** untuk Build the TensorFlow neural network (model dan dataset telah di hapus).
#### (version 5)V5 
-data lebih banyak namun **50x Epoch Loss: 33.1689  Accuracy: 2.22%**(model dan dataset terbaru).
#### (version 8)V8 
-data lebih banyak namun **50x Epoch Loss: 20.0664  Accuracy: 3.26%**(model dan dataset belum di publish).
#### (version 10)V10
-data lebih banyak namun **50x Epoch Loss: 21.0304  Accuracy: 3.67%**(model dan dataset belum di publish).

**(recommend)Pilih Model(LSTM-based)jika:**
- Urutan kata dan konteks teks penting untuk memahami pesan.
- Dataset besar atau lebih kompleks.
- Anda ingin model yang lebih mendalam untuk teks.


## 4. Text to Voice (pyttsx3 / ElevenLabs):
Setelah respons dihasilkan, Anda mengubahnya menjadi suara menggunakan **pyttsx3** atau **ElevenLabs**. Pustaka ini memungkinkan konversi text menjadi suara yang dapat digunakan dalam interaksi lebih lanjut.
**Convert Voice untuk Pergerakan Vtuber (VTS Desktop Audio, VB Cable Driver):**
Anda menggunakan **VTS Desktop Audio** dan **VB Cable Driver** untuk mengonversi suara menjadi input untuk mengendalikan pergerakan Vtuber, seperti pergerakan wajah atau tubuh berdasarkan respons suara yang dihasilkan.


## 5. Voice Changer Suara Menggunakan RVC Okada:
Masih belum diketahui caranya dan masih belajar...ehee


- **Developed by:** [Niki]
- **Model type:** [Keras]
- **Language(s) (NLP):** [Indonesian]
- **License:** [Apache]