ChatGLM-3-6B-LoRA: A LoRA Fine-Tuned Version of ChatGLM-3-6B

Model description

这是一个基于 ChatGLM-3-6B 进行 LoRA 微调 的中文对话生成模型。该模型的目标是提升对话生成的质量，特别是在开放式对话和问答任务中。LoRA 微调技术通过低秩适配层优化了预训练模型，减少了计算开销。

目前，模型在对话生成的质量上会继续进行微调和改进，以优化性能和适应更多场景。

Model details

架构：基于 ChatGLM-3-6B（一个大规模中文生成模型）。
微调技术：使用 LoRA 微调，对预训练的 ChatGLM 模型进行低秩调整。
任务类型：主要用于中文对话生成、问答任务等。

Training data

训练数据集：使用自定义对话数据集进行微调。
数据量和多样性：目前的训练数据集质量有待提升，可能影响模型的泛化能力。
清洗与处理：数据经过一定程度的清洗，去除噪声和低质量对话，但由于数据集的限制，某些任务的表现仍然较弱。

Evaluation results

模型在一些对话生成任务上的初步评估结果如下：

准确性：当前在常见对话和开放式问答任务中的表现较为平庸，生成的回答有时会不准确或者语义不连贯。
流畅度：生成的对话大部分时间较为流畅，但偶尔出现重复、无关或不自然的回答。
性能瓶颈：由于训练数据的局限性，模型在长时间对话中可能会出现表现下降的情况。

当前模型的表现并未达到最佳效果，但随着更多数据和进一步的微调，预期会有所改进。

Limitations and Biases

生成质量：当前模型在复杂对话中的表现不稳定，特别是在涉及特定领域或长时间对话时，生成的内容可能不准确或缺乏逻辑性。
数据偏差：由于使用的训练数据来自公开数据集，模型可能在特定领域（如医学、科技等）表现较差，也可能存在一些基于数据集的偏见。
更新和优化：模型仍在不断微调和优化中，效果可能会随着时间和进一步训练得到改善。

Use case

这个模型适用于构建中文对话系统，特别是在：

聊天机器人：构建能够进行简单对话和闲聊的聊天机器人。
教育辅助：作为教育领域的智能问答助手，帮助学生解答基础问题。

How to use

你可以使用以下代码来加载并使用该模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和 tokenizer
model_name = "Longz1003/chatglm_lora_mimeng"  # 替换为你的模型路径
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 测试模型
inputs = tokenizer("你好，今天的天气怎么样？", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

torch>=1.10.0
transformers>=4.30.0
accelerate>=0.18.0
datasets>=2.0.0
scipy>=1.7.0
sentencepiece>=0.1.96
pytorch-lightning>=1.5.0
pyyaml>=5.4.1
tqdm>=4.62.0
requests>=2.26.0
huggingface_hub>=0.12.0
tensorboard>=2.6.0
scikit-learn>=0.24.2

Longz1003
/

chatglm_lora_mimeng