Upload folder using huggingface_hub
Browse files
README.md
CHANGED
|
@@ -872,7 +872,7 @@ print(sess.response.text)
|
|
| 872 |
LMDeploy 的 `api_server` 使模型能够通过一个命令轻松打包成服务。提供的 RESTful API 与 OpenAI 的接口兼容。以下是服务启动的示例：
|
| 873 |
|
| 874 |
```shell
|
| 875 |
-
lmdeploy serve api_server OpenGVLab/InternVL2-2B
|
| 876 |
```
|
| 877 |
|
| 878 |
为了使用OpenAI风格的API接口，您需要安装OpenAI:
|
|
|
|
| 872 |
LMDeploy 的 `api_server` 使模型能够通过一个命令轻松打包成服务。提供的 RESTful API 与 OpenAI 的接口兼容。以下是服务启动的示例：
|
| 873 |
|
| 874 |
```shell
|
| 875 |
+
lmdeploy serve api_server OpenGVLab/InternVL2-2B --backend turbomind --server-port 23333 --chat-template chat_template.json
|
| 876 |
```
|
| 877 |
|
| 878 |
为了使用OpenAI风格的API接口，您需要安装OpenAI:
|