README.md

metadata

license: cc-by-nc-sa-4.0
language:
  - ja
  - zh
  - ko
base_model:
  - CjangCjengh/GaLLM-14B-v0.1

GaLLM-14B-v0.1的GPTQ-Int4量化版，使用方法相同

推荐使用vllm部署，然后使用OpenAI格式的API访问：

vllm serve CjangCjengh/GaLLM-14B-v0.1-GPTQ-Int4 --port <your_port>