README.md

---
license: apache-2.0
datasets:
- fka/awesome-chatgpt-prompts
language:
- zh
base_model:
- THUDM/chatglm-6b
pipeline_tag: question-answering
---

# ChatGLM-3-6B-LoRA: A LoRA Fine-Tuned Version of ChatGLM-3-6B

## Model description
这是一个基于 **ChatGLM-3-6B** 进行 **LoRA 微调** 的中文对话生成模型。该模型的目标是提升对话生成的质量，特别是在开放式对话和问答任务中。LoRA 微调技术通过低秩适配层优化了预训练模型，减少了计算开销。

目前，模型在对话生成的质量上会继续进行微调和改进，以优化性能和适应更多场景。

## Model details
- **架构**：基于 **ChatGLM-3-6B**（一个大规模中文生成模型）。
- **微调技术**：使用 **LoRA** 微调，对预训练的 ChatGLM 模型进行低秩调整。
- **任务类型**：主要用于中文对话生成、问答任务等。

## Training data
- **训练数据集**：使用自定义对话数据集进行微调。
- **数据量和多样性**：目前的训练数据集质量有待提升，可能影响模型的泛化能力。
- **清洗与处理**：数据经过一定程度的清洗，去除噪声和低质量对话，但由于数据集的限制，某些任务的表现仍然较弱。

## Evaluation results
模型在一些对话生成任务上的初步评估结果如下：
- **准确性**：当前在常见对话和开放式问答任务中的表现较为平庸，生成的回答有时会不准确或者语义不连贯。
- **流畅度**：生成的对话大部分时间较为流畅，但偶尔出现重复、无关或不自然的回答。
- **性能瓶颈**：由于训练数据的局限性，模型在长时间对话中可能会出现表现下降的情况。

**当前模型的表现并未达到最佳效果，但随着更多数据和进一步的微调，预期会有所改进。**

## Limitations and Biases
- **生成质量**：当前模型在复杂对话中的表现不稳定，特别是在涉及特定领域或长时间对话时，生成的内容可能不准确或缺乏逻辑性。
- **数据偏差**：由于使用的训练数据来自公开数据集，模型可能在特定领域（如医学、科技等）表现较差，也可能存在一些基于数据集的偏见。
- **更新和优化**：模型仍在不断微调和优化中，效果可能会随着时间和进一步训练得到改善。

## Use case
这个模型适用于构建中文对话系统，特别是在：
- **聊天机器人**：构建能够进行简单对话和闲聊的聊天机器人。
- **教育辅助**：作为教育领域的智能问答助手，帮助学生解答基础问题。

## How to use
你可以使用以下代码来加载并使用该模型：

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和 tokenizer
model_name = "Longz1003/chatglm_lora_mimeng"  # 替换为你的模型路径
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 测试模型
inputs = tokenizer("你好，今天的天气怎么样？", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

torch>=1.10.0
transformers>=4.30.0
accelerate>=0.18.0
datasets>=2.0.0
scipy>=1.7.0
sentencepiece>=0.1.96
pytorch-lightning>=1.5.0
pyyaml>=5.4.1
tqdm>=4.62.0
requests>=2.26.0
huggingface_hub>=0.12.0
tensorboard>=2.6.0
scikit-learn>=0.24.2