才刚刚跑完QWEN-7B-CHAT,来打卡,对比看看

#2
by hackersilentchen - opened

没有开源chat模型么?

内存炸了,能不能切成小文件哦,消费级选手伤不起

加内存到64G,跑起来了
微信截图_20230808141943.png
微信截图_20230808141931.png
微信图片_20230808141402.png

请问对GPU有什么要求吗?

XVERSE Technology org

没有开源chat模型么?

后续会开放Chat版的模型, 请持续关注.

内存炸了,能不能切成小文件哦,消费级选手伤不起

切成小文件不会影响加载所需内存.
float32类型加载大概需要52G内存, float16是26G, 可检查一下加载的类型.

https://huggingface.co/docs/transformers/big_models

Sharded checkpoints will reduce the peak memory required for loading
分片检查点将减少加载所需的峰值内存

没有开源chat模型么?

后续会开放Chat版的模型, 请持续关注.

内存炸了,能不能切成小文件哦,消费级选手伤不起

切成小文件不会影响加载所需内存.
float32类型加载大概需要52G内存, float16是26G, 可检查一下加载的类型.

已经加了float16,参数无效……

Your need to confirm your account before you can post a new comment.

Sign up or log in to comment