AnhP commited on
Commit
8bb2553
·
verified ·
1 Parent(s): 5c91488

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +332 -2
README.md CHANGED
@@ -9,5 +9,335 @@ short_description: RVC
9
  app_file: main/app/app.py
10
  pinned: true
11
  startup_duration_timeout: 1h
12
- sdk_version: 5.23.3
13
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9
  app_file: main/app/app.py
10
  pinned: true
11
  startup_duration_timeout: 1h
12
+ sdk_version: 5.30.0
13
+ ---
14
+
15
+ <div align="center">
16
+ <img alt="LOGO" src="assets/ico.png" width="300" height="300" />
17
+
18
+ # Vietnamese RVC BY ANH
19
+ Công cụ chuyển đổi giọng nói chất lượng và hiệu suất cao đơn giản dành cho người Việt.
20
+
21
+ [![Vietnamese RVC](https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white)](https://github.com/PhamHuynhAnh16/Vietnamese-RVC)
22
+ [![Open In Colab](https://img.shields.io/badge/Colab-F9AB00?style=for-the-badge&logo=googlecolab&color=525252)](https://colab.research.google.com/github/PhamHuynhAnh16/Vietnamese-RVC-ipynb/blob/main/Vietnamese-RVC.ipynb)
23
+ [![Licence](https://img.shields.io/github/license/saltstack/salt?style=for-the-badge)](https://github.com/PhamHuynhAnh16/Vietnamese-RVC/blob/main/LICENSE)
24
+
25
+ </div>
26
+
27
+ <div align="center">
28
+
29
+ [![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co/spaces/AnhP/RVC-GUI)
30
+ [![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97-Models-blue)](https://huggingface.co/AnhP/Vietnamese-RVC-Project)
31
+
32
+ </div>
33
+
34
+ # Mô tả
35
+ Dự án này là một công cụ chuyển đổi giọng nói đơn giản, dễ sử dụng, được thiết kế cho người Việt Nam. Với mục tiêu tạo ra các sản phẩm chuyển đổi giọng nói chất lượng cao và hiệu suất tối ưu, dự án cho phép người dùng thay đổi giọng nói một cách mượt mà, tự nhiên.
36
+
37
+ # Các tính năng của dự án
38
+
39
+ - Tách nhạc (MDX-Net/Demucs)
40
+
41
+ - Chuyển đổi giọng nói (Chuyển đổi tệp/Chuyển đổi hàng loạt/Chuyển đổi với Whisper/Chuyển đổi văn bản)
42
+
43
+ - Chỉnh sửa nhạc nền
44
+
45
+ - Áp dụng hiệu ứng cho âm thanh
46
+
47
+ - Tạo dữ liệu huấn luyện (Từ đường dẫn liên kết)
48
+
49
+ - Huấn luyện mô hình (v1/v2, bộ mã hóa chất lượng cao)
50
+
51
+ - Dung hợp mô hình
52
+
53
+ - Đọc thông tin mô hình
54
+
55
+ - Xuất mô hình sang ONNX
56
+
57
+ - Tải xuống từ kho mô hình có sẳn
58
+
59
+ - Tìm kiếm mô hình từ web
60
+
61
+ - Trích xuất cao độ
62
+
63
+ - Hỗ trợ suy luận chuyển đổi âm thanh bằng mô hình ONNX
64
+
65
+ - Mô hình ONNX RVC cũng sẽ hỗ trợ chỉ mục để suy luận
66
+
67
+ - Nhiều tùy chọn mô hình:
68
+
69
+ F0: `pm, dio, mangio-crepe-tiny, mangio-crepe-small, mangio-crepe-medium, mangio-crepe-large, mangio-crepe-full, crepe-tiny, crepe-small, crepe-medium, crepe-large, crepe-full, fcpe, fcpe-legacy, rmvpe, rmvpe-legacy, harvest, yin, pyin, swipe`
70
+
71
+ F0_ONNX: Một số mô hình được chuyển đổi sang ONNX để hỗ trợ tăng tốc trích xuất
72
+
73
+ F0_HYBRID: Có thể kết hợp nhiều tùy chọn lại với nhau như `hybrid[rmvpe+harvest]` hoặc bạn có thể thử kết hợp toàn bộ tất cả tùy chọn lại với nhau
74
+
75
+ EMBEDDERS: `contentvec_base, hubert_base, japanese_hubert_base, korean_hubert_base, chinese_hubert_base, portuguese_hubert_base`
76
+
77
+ EMBEDDERS_ONNX: Tất cả mô hình nhúng ở trên điều có phiên bản được chuyển đổi sẳn sang ONNX để sử dụng tăng tốc trích xuất nhúng
78
+
79
+ EMBEDDERS_TRANSFORMERS: Tất cả mô hình nhúng ở trên điều có phiên bản được chuyển đổi sẳn sang huggingface để sử dụng thay thế cho fairseq
80
+
81
+ SPIN_EMBEDDERS: Một mô hình trích xuất nhúng mới, có thể mang đến chất lượng cao hơn các trích xuất cũ.
82
+
83
+ # Hướng dẫn sử dụng
84
+
85
+ **Sẽ có nếu tôi thực sự rảnh...**
86
+
87
+ # Cách cài đặt và sử dụng
88
+
89
+ - B1: **Cài đặt python từ trang chủ hoặc [python](https://www.python.org/ftp/python/3.10.7/python-3.10.7-amd64.exe) (YÊU CẦU PYTHON 3.10.x HOẶC PYTHON 3.11.x)**
90
+ - B2: **Cài đặt ffmpeg từ [FFMPEG](https://github.com/BtbN/FFmpeg-Builds/releases) giải nén và thêm vào PATH**
91
+ - B3: **Tải mã nguồn về và giải nén ra**
92
+ - B4: **Vào thư mục mã nguồn và mở Command Prompt hoặc Terminal**
93
+ - B5: **Nhập lệnh để cài đặt thư viện cần thiết để hoạt động**
94
+
95
+ ```
96
+ python -m venv env
97
+ env\\Scripts\\activate
98
+ ```
99
+
100
+ Nếu có GPU NVIDIA thì chạy bước này tùy theo cuda của bạn có thể thay đổi cu117 thành cu128...
101
+
102
+ ```
103
+ # Nếu sử dụng Torch 2.3.1
104
+ python -m pip install torch==2.3.1 torchaudio==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu117
105
+
106
+ # Nếu sử dụng Torch 2.6.0
107
+ python -m pip install torch==2.6.0 torchaudio==2.6.0 torchvision==0.21.0 --index-url https://download.pytorch.org/whl/cu117
108
+ ```
109
+
110
+ Tiếp theo chạy
111
+
112
+ ```
113
+ python -m pip install -r requirements.txt
114
+ ```
115
+
116
+ - B5: **Chạy tệp run_app để mở giao diện sử dụng(Lưu ý: không tắt Command Prompt hoặc Terminal của giao diện)**
117
+ - Hoặc sử dụng cửa sổ Command Prompt hoặc cửa sổ Terminal trong thư mục mã nguồn
118
+ - Nếu muốn cho phép giao diện truy cập được các tệp ngoài dự án hãy thêm --allow_all_disk vào lệnh
119
+ ```
120
+ env\\Scripts\\python.exe main\\app\\app.py --open
121
+ ```
122
+
123
+ **Với trường hợp bạn sử dụng Tensorboard để kiểm tra huấn luyện**
124
+ ```
125
+ Chạy tệp: tensorboard hoặc lệnh env\\Scripts\\python.exe main/app/tensorboard.py
126
+ ```
127
+
128
+ # Sử dụng với cú pháp lệnh
129
+ ```
130
+ python main\\app\\parser.py --help
131
+ ```
132
+
133
+ # Cấu trúc chính của mã nguồn:
134
+
135
+ <pre>
136
+ Vietnamese-RVC-main
137
+ ├── assets
138
+ │ ├── f0
139
+ │ ├── languages
140
+ │ │ ├── en-US.json
141
+ │ │ └── vi-VN.json
142
+ │ ├── logs
143
+ │ │ └── mute
144
+ │ │ ├── f0
145
+ │ │ │ └── mute.wav.npy
146
+ │ │ ├── f0_voiced
147
+ │ │ │ └── mute.wav.npy
148
+ │ │ ├── sliced_audios
149
+ │ │ │ ├── mute32000.wav
150
+ │ │ │ ├── mute40000.wav
151
+ │ │ │ └── mute48000.wav
152
+ │ │ ├── sliced_audios_16k
153
+ │ │ │ └── mute.wav
154
+ │ │ ├── v1_extracted
155
+ │ │ │ ├── mute.npy
156
+ │ │ │ └── mute_spin.npy
157
+ │ │ └── v2_extracted_spin
158
+ │ │ ├── mute.npy
159
+ │ │ └── mute_spin.npy
160
+ │ ├── models
161
+ │ │ ├── audioldm2
162
+ │ │ ├── embedders
163
+ │ │ ├── predictors
164
+ │ │ ├── pretrained_custom
165
+ │ │ ├── pretrained_v1
166
+ │ │ ├── pretrained_v2
167
+ │ │ ├── speaker_diarization
168
+ │ │ │ ├── assets
169
+ │ │ │ │ ├── gpt2.tiktoken
170
+ │ │ │ │ ├── mel_filters.npz
171
+ │ │ │ │ └── multilingual.tiktoken
172
+ │ │ │ └── models
173
+ │ │ └── uvr5
174
+ │ ├── presets
175
+ │ ├── weights
176
+ │ └── ico.png
177
+ ├── audios
178
+ ├── dataset
179
+ ├── main
180
+ │ ├── app
181
+ │ │ ├── app.py
182
+ │ │ ├── tensorboard.py
183
+ │ │ └── parser.py
184
+ │ ├── configs
185
+ │ │ ├── v1
186
+ │ │ │ ├── 32000.json
187
+ │ │ │ ├── 40000.json
188
+ │ │ │ └── 48000.json
189
+ │ │ ├── v2
190
+ │ │ │ ├── 32000.json
191
+ │ │ │ ├── 40000.json
192
+ │ │ │ └── 48000.json
193
+ │ │ ├── config.json
194
+ │ │ └── config.py
195
+ │ ├── inference
196
+ │ │ ├── audio_effects.py
197
+ │ │ ├── audioldm2.py
198
+ │ │ ├── convert.py
199
+ │ │ ├── create_dataset.py
200
+ │ │ ├── create_index.py
201
+ │ │ ├── extract.py
202
+ │ │ ├── preprocess.py
203
+ │ │ ├── separator_music.py
204
+ │ │ └── train.py
205
+ │ ├── library
206
+ │ │ ├── algorithm
207
+ │ │ │ ├── commons.py
208
+ │ │ │ ├── modules.py
209
+ │ │ │ ├── mrf_hifigan.py
210
+ │ │ │ ├── onnx_export.py
211
+ │ │ │ ├── refinegan.py
212
+ │ │ │ ├── residuals.py
213
+ │ │ │ ├── separator.py
214
+ │ │ │ └── stftpitchshift.py
215
+ │ │ ├── architectures
216
+ │ │ │ ├── demucs_separator.py
217
+ │ │ │ ├── fairseq.py
218
+ │ │ │ └── mdx_separator.py
219
+ │ │ ├── audioldm2
220
+ │ │ │ ├── models.py
221
+ │ │ │ └── utils.py
222
+ │ │ ├── predictors
223
+ │ │ │ ├── CREPE.py
224
+ │ │ │ ├── FCPE.py
225
+ │ │ │ ├── Generator.py
226
+ │ │ │ ├── RMVPE.py
227
+ │ │ │ ├── SWIPE.py
228
+ │ │ │ └── WORLD_WRAPPER.py
229
+ │ │ ├── speaker_diarization
230
+ │ │ │ ├── audio.py
231
+ │ │ │ ├── ECAPA_TDNN.py
232
+ │ │ │ ├── embedding.py
233
+ │ │ │ ├── encoder.py
234
+ │ │ │ ├── features.py
235
+ │ │ │ ├── parameter_transfer.py
236
+ │ │ │ ├── segment.py
237
+ │ │ │ ├── speechbrain.py
238
+ │ │ │ └── whisper.py
239
+ │ │ ├── uvr5_separator
240
+ │ │ │ ├── common_separator.py
241
+ │ │ │ ├── spec_utils.py
242
+ │ │ │ └── demucs
243
+ │ │ │ ├── apply.py
244
+ │ │ │ ├── demucs.py
245
+ │ │ │ ├── hdemucs.py
246
+ │ │ │ ├── htdemucs.py
247
+ │ │ │ ├── states.py
248
+ │ │ │ └── utils.py
249
+ │ │ └── utils.py
250
+ │ └── tools
251
+ │ ├── gdown.py
252
+ │ ├── huggingface.py
253
+ │ ├── mediafire.py
254
+ │ ├── meganz.py
255
+ │ ├── noisereduce.py
256
+ │ └── pixeldrain.py
257
+ ├── docker-compose-cpu.yaml
258
+ ├── docker-compose-cuda118.yaml
259
+ ├── docker-compose-cuda128.yaml
260
+ ├── Dockerfile
261
+ ├── Dockerfile.cuda118
262
+ ├── Dockerfile.cuda128
263
+ ├── LICENSE
264
+ ├── README.md
265
+ ├── requirements.txt
266
+ ├── run_app.bat
267
+ └── tensorboard.bat
268
+ </pre>
269
+
270
+ # LƯU Ý
271
+
272
+ - **Dự án này chỉ hỗ trợ trên gpu của NVIDIA (Có thể sẽ hỗ trợ AMD sau nếu tôi có gpu AMD để thử)**
273
+ - **Hiện tại các bộ mã hóa mới như MRF HIFIGAN vẫn chưa đầy đủ các bộ huấn luyện trước**
274
+ - **Bộ mã hóa MRF HIFIGAN và REFINEGAN không hỗ trợ huấn luyện khi không không huấn luyện cao độ**
275
+ - **Các mô hình trong kho lưu trữ Vietnamese-RVC được thu thập rải rác trên AI Hub, HuggingFace và các các kho lưu trữ khác. Có thể mang các giấy phép bản quyền khác nhau (Ví dụ: Audioldm2 có các trọng số mô hình với điều khoản "Phi Thương Mại")**
276
+ - **Mã nguồn này có chứa thành phần phần mềm bên thứ ba được cấp phép với điều khoản "phi thương mại". Bất kỳ hành vi sử dụng thương mại nào, bao gồm kêu gọi tài trợ hoặc tài chính hóa phần mềm phái sinh, đều có thể vi phạm giấy phép và sẽ phải chịu trách nhiệm pháp lý tương ứng.**
277
+
278
+ # Điều khoản sử dụng
279
+
280
+ - Bạn phải đảm bảo rằng các nội dung âm thanh bạn tải lên và chuyển đổi qua dự án này không vi phạm quyền sở hữu trí tuệ của bên thứ ba.
281
+
282
+ - Không được phép sử dụng dự án này cho bất kỳ hoạt động nào bất hợp pháp, bao gồm nhưng không giới hạn ở việc sử dụng để lừa đảo, quấy rối, hay gây tổn hại đến người khác.
283
+
284
+ - Bạn chịu trách nhiệm hoàn toàn đối với bất kỳ thiệt hại nào phát sinh từ việc sử dụng sản phẩm không đúng cách.
285
+
286
+ - Tôi sẽ không chịu trách nhiệm với bất kỳ thiệt hại trực tiếp hoặc gián tiếp nào phát sinh từ việc sử dụng dự án này.
287
+
288
+ # Dự án này được xây dựng dựa trên các dự án như sau
289
+
290
+ | Tác Phẩm | Tác Giả | Giấy Phép |
291
+ |--------------------------------------------------------------------------------------------------------------------------------|-------------------------|-------------|
292
+ | **[Applio](https://github.com/IAHispano/Applio/tree/main)** | IAHispano | MIT License |
293
+ | **[Python-audio-separator](https://github.com/nomadkaraoke/python-audio-separator/tree/main)** | Nomad Karaoke | MIT License |
294
+ | **[Retrieval-based-Voice-Conversion-WebUI](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/tree/main)** | RVC Project | MIT License |
295
+ | **[RVC-ONNX-INFER-BY-Anh](https://github.com/PhamHuynhAnh16/RVC_Onnx_Infer)** | Phạm Huỳnh Anh | MIT License |
296
+ | **[Torch-Onnx-Crepe-By-Anh](https://github.com/PhamHuynhAnh16/TORCH-ONNX-CREPE)** | Phạm Huỳnh Anh | MIT License |
297
+ | **[Hubert-No-Fairseq](https://github.com/PhamHuynhAnh16/hubert-no-fairseq)** | Phạm Huỳnh Anh | MIT License |
298
+ | **[Local-attention](https://github.com/lucidrains/local-attention)** | Phil Wang | MIT License |
299
+ | **[TorchFcpe](https://github.com/CNChTu/FCPE/tree/main)** | CN_ChiTu | MIT License |
300
+ | **[FcpeONNX](https://github.com/deiteris/voice-changer/blob/master-custom/server/utils/fcpe_onnx.py)** | Yury | MIT License |
301
+ | **[ContentVec](https://github.com/auspicious3000/contentvec)** | Kaizhi Qian | MIT License |
302
+ | **[Mediafiredl](https://github.com/Gann4Life/mediafiredl)** | Santiago Ariel Mansilla | MIT License |
303
+ | **[Noisereduce](https://github.com/timsainb/noisereduce)** | Tim Sainburg | MIT License |
304
+ | **[World.py-By-Anh](https://github.com/PhamHuynhAnh16/world.py)** | Phạm Huỳnh Anh | MIT License |
305
+ | **[Mega.py](https://github.com/3v1n0/mega.py)** | Marco Trevisan | No License |
306
+ | **[Gdown](https://github.com/wkentaro/gdown)** | Kentaro Wada | MIT License |
307
+ | **[Whisper](https://github.com/openai/whisper)** | OpenAI | MIT License |
308
+ | **[PyannoteAudio](https://github.com/pyannote/pyannote-audio)** | pyannote | MIT License |
309
+ | **[AudioEditingCode](https://github.com/HilaManor/AudioEditingCode)** | Hila Manor | MIT License |
310
+ | **[StftPitchShift](https://github.com/jurihock/stftPitchShift)** | Jürgen Hock | MIT License |
311
+ | **[Codename-RVC-Fork-3](https://github.com/codename0og/codename-rvc-fork-3)** | Codename;0 | MIT License |
312
+
313
+ # Kho mô hình của công cụ tìm kiếm mô hình
314
+
315
+ - **[VOICE-MODELS.COM](https://voice-models.com/)**
316
+
317
+ # Các phương pháp trích xuất Pitch trong RVC
318
+
319
+ Tài liệu này trình bày chi tiết các phương pháp trích xuất cao độ được sử dụng, thông tin về ưu, nhược điểm, sức mạnh và độ tin cậy của từng phương pháp theo trải nghiệm cá nhân.
320
+
321
+ | Phương pháp | Loại | Ưu điểm | Hạn chế | Sức mạnh | Độ tin cậy |
322
+ |--------------------|----------------|---------------------------|------------------------------|--------------------|--------------------|
323
+ | pm | Praat | Nhanh | Kém chính xác | Thấp | Thấp |
324
+ | dio | PYWORLD | Thích hợp với Rap | Kém chính xác với tần số cao | Trung bình | Trung bình |
325
+ | harvest | PYWORLD | Chính xác hơn DIO | Xử lý chậm hơn | Cao | Rất cao |
326
+ | crepe | Deep Learning | Chính xác cao | Yêu cầu GPU | Rất cao | Rất cao |
327
+ | mangio-crepe | crepe finetune | Tối ưu hóa cho RVC | Đôi khi kém crepe gốc | Trung bình đến cao | Trung bình đến cao |
328
+ | fcpe | Deep Learning | Chính xác, thời gian thực | Cần GPU mạnh | Khá | Trung bình |
329
+ | fcpe-legacy | Old | Chính xác, thời gian thực | Cũ hơn | Khá | Trung bình |
330
+ | rmvpe | Deep Learning | Hiệu quả với giọng hát | Tốn tài nguyên | Rất cao | Xuất sắc |
331
+ | rmvpe-legacy | Old | Hỗ trợ hệ thống cũ | Cũ hơn | Cao | Khá |
332
+ | yin | Librosa | Đơn giản, hiệu quả | Dễ lỗi bội | Trung bình | Thấp |
333
+ | pyin | Librosa | Ổn định hơn YIN | Tính toán phức tạp hơn | Khá | Khá |
334
+ | swipe | WORLD | Độ chính xác cao | Nhạy cảm với nhiễu | Cao | Khá |
335
+
336
+ # Báo cáo lỗi
337
+
338
+ - **Với trường hợp gặp lỗi khi sử dụng mã nguồn này tôi thực sự xin lỗi bạn vì trải nghiệm không tốt này, bạn có thể gửi báo cáo lỗi thông qua cách phía dưới**
339
+ - **Bạn có thể báo cáo lỗi cho tôi thông qua hệ thống báo cáo lỗi webhook trong giao diện sử dụng**
340
+ - **Với trường hợp hệ thống báo cáo lỗi không hoạt động bạn có thể báo cáo lỗi cho tôi thông qua Discord `pham_huynh_anh` Hoặc [ISSUE](https://github.com/PhamHuynhAnh16/Vietnamese-RVC/issues)**
341
+
342
+ # ☎️ Liên hệ tôi
343
+ - Discord: **pham_huynh_anh**