Update README.md
Browse files
README.md
CHANGED
@@ -71,7 +71,7 @@ Despite the absence of thorough alignment with human preferences, the model is u
|
|
71 |
|
72 |
**模型参数:**LLM - 9B(从THUDM/glm-4-9b-chat-1m初始化);可选的ViT - 5B。
|
73 |
|
74 |
-
|
75 |
|
76 |
**推理参数:**我们的观察表明,如果想要减少幻觉结果,建议使用top_p=0.8的采样方式,然后设置temperature为0.3,或者使用纯粹的temperature采样,设置为0.2。**总体来说,相比类似的模型,该模型需要较低的temperature**,我们暂时将其归因于在庞大数据集上的过拟合。
|
77 |
|
|
|
71 |
|
72 |
**模型参数:**LLM - 9B(从THUDM/glm-4-9b-chat-1m初始化);可选的ViT - 5B。
|
73 |
|
74 |
+
**注意事项:** **强烈建议使用标准化的推理实现**,例如Hugging Face Transformers,以避免在使用加速内核(如vllm或lmdeploy)时可能发生的显著性能下降——更不用说模型量化可能带来的灾难性影响。**目前,这些加速推理实现已知会严重损害**视觉推理的有效性,尽管对纯文本性能的影响较小。
|
75 |
|
76 |
**推理参数:**我们的观察表明,如果想要减少幻觉结果,建议使用top_p=0.8的采样方式,然后设置temperature为0.3,或者使用纯粹的temperature采样,设置为0.2。**总体来说,相比类似的模型,该模型需要较低的temperature**,我们暂时将其归因于在庞大数据集上的过拟合。
|
77 |
|