add

app.py

@@ -0,0 +1,321 @@
+#!/usr/bin/env python
+# coding: utf-8
+
+# ## ChatGPT来了，更快的速度更低的价格
+
+# In[ ]:
+
+
+在第3讲里面. 通过colpletion接口, 实现一个聊天机器人
+我们采用的是自己将整个对话拼接起来，将整个上下文都发送给 OpenAI的 Completion API 的方式。
+因为 ChatGPT 的火热，OpenAI 放出了一个直接可以进行对话聊天的接口。
+这个接口叫做 ChatCompletion，对应的模型叫做 gpt3.5-turbo，不但用起来更容易了，速度还快，而且价格也是我们之前使用的 text-davinci-003 的十分之一，
+可谓是物美价廉了。
+
+
+# In[ ]:
+
+
+import openai
+openai.ChatCompletion.create(
+  model="gpt-3.5-turbo",
+  messages=[
+        {"role": "system", "content": "You are a helpful assistant."},
+        {"role": "user", "content": "Who won the world series in 2020?"},
+        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
+        {"role": "user", "content": "Where was it played?"}
+    ]
+)
+
+
+# In[ ]:
+
+
+需要传入的参数，从一段Prompt 变成了一个数组，数组的每个元素都有 role 和 content 两个字段
+role 这个字段一共有三个角色可以选择，其中 system 代表系统，user 代表用户，而assistant 则代表 AI 的回答
+
+
+# In[ ]:
+
+
+当 role 是 system 的时候，content 里面的内容代表我们给 AI 的一个指令.是告诉AI 应该怎么回答用户的问题
+比如我们希望 AI 都通过中文回答我们就可以在content 里面写 "你只能用中文回答"
+
+而当 role 是 user 或者 assistant 的时候
+content 里面的内容就代表用户和ai对话的内容
+和我们第 03 讲里做的聊天机器人一样,你需要把历史上的对话一起发送给OpenAI 的接口，它才能有理解整个对话的上下文的能力。
+
+
+# In[ ]:
+
+
+
+
+
+# In[1]:
+
+
+import openai
+import os
+
+OPENAI_API_KEY='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'
+openai.api_key = OPENAI_API_KEY
+# 封装了一个 Conversation 类
+class Conversation:
+    # prompt 作为system 的 content，代表我们对这个聊天机器人的指令，
+    # num_of_round 代表每次向ChatGPT 发起请求的时候，保留过去几轮会话。
+    def __init__(self, prompt, num_of_round):
+        self.prompt = prompt
+        self.num_of_round = num_of_round
+        self.messages = []
+        self.messages.append({"role": "system", "content": self.prompt})
+
+    #输入是一个 string 类型的 question，返回结果也是 string 类型的一条 message。
+#     每次调用 ask 函数，都会向 ChatGPT 发起一个请求
+# 在这个请求里，我们都会把最新的问题拼接到整个对话数组的最后，而在得到 ChatGPT 的回答之后也会把回答拼接上去。
+    def ask(self, question):
+        try:
+            self.messages.append( {"role": "user", "content": question})
+            response = openai.ChatCompletion.create(
+                model="gpt-3.5-turbo",
+                messages=self.messages,
+                temperature=0.5,
+                max_tokens=2048,
+                top_p=1,
+            )
+        except Exception as e:
+            print(e)
+            return e
+
+        message = response["choices"][0]["message"]["content"]
+        self.messages.append({"role": "assistant", "content": message})
+#         回答完之后，发现会话的轮数超过我们设置的 num_of_round，我们就去掉最前面的一轮会话
+        if len(self.messages) > self.num_of_round*2 + 1:
+            del self.messages[1:3]
+        return message
+
+
+# In[2]:
+
+
+prompt = """你是一个中国厨师，用中文回答做菜的问题。你的回答需要满足以下要求:
+1. 你的回答必须是中文
+2. 回答限制在100个字以内"""
+conv1 = Conversation(prompt, 3)
+question1 = "你是谁？"
+print("User : %s" % question1)
+print("Assistant : %s\n" % conv1.ask(question1))
+
+question2 = "请问鱼香肉丝怎么做？"
+print("User : %s" % question2)
+print("Assistant : %s\n" % conv1.ask(question2))
+
+question3 = "那蚝油牛肉呢？"
+print("User : %s" % question3)
+print("Assistant : %s\n" % conv1.ask(question3))
+
+
+# In[3]:
+
+
+question4 = "我问你的第一个问题是什么？"
+print("User : %s" % question4)
+print("Assistant : %s\n" % conv1.ask(question4))
+
+
+# In[ ]:
+
+
+如果我们重新再问一遍“我问你的第一个问题是什么”，你会发现回答变了。
+上一轮已经是第四轮了，而我们设置记住的 num_of_round 是 3。
+在上一轮的问题回答完了之后，第一轮的关于“你是谁”的问答，被我们从 ChatGPT 的对话历史里去掉了。
+所以这个时候，它会告诉我们，第一个问题是“鱼香肉丝怎么做”。
+
+
+# In[4]:
+
+
+question5 = "我问你的第一个问题是什么？"
+print("User : %s" % question5)
+print("Assistant : %s\n" % conv1.ask(question5))
+
+
+# In[ ]:
+
+
+ChatGPT 的对话模型用起来很方便，但是也有一点需要注意。就是在��个需要传送大量上下文的情况下，这个费用会比你想象的高。
+OpenAI 是通过模型处理的 Token 数量来收费的，但是要注意，这个收费是“双向收费”。
+它是按照你发送给它的上下文，加上它返回给你的内容的总 Token 数来计算花费的 Token 数量的。
+
+
+# In[ ]:
+
+
+第一轮对话是只消耗了 100 个 Token，但是第二轮因为要把前面的上下文都发送出去，所以需要 200 个
+
+
+# ### 通过API计算Token数量
+
+# In[ ]:
+
+
+第一种计算 Token 数量的方式，是从 API 返回的结果里面获取。我们修改一下刚才的Conversation 类，重新创建一个 Conversation2 类。
+和之前只有一个不同，ask 函数除了返回回复的消息之外，还会返回这次请求消耗的 Token 数
+
+
+# In[2]:
+
+
+class Conversation2:
+    def __init__(self, prompt, num_of_round):
+        self.prompt = prompt
+        self.num_of_round = num_of_round
+        self.messages = []
+        self.messages.append({"role": "system", "content": self.prompt})
+
+    def ask(self, question):
+        try:
+            self.messages.append( {"role": "user", "content": question})
+            response = openai.ChatCompletion.create(
+                model="gpt-3.5-turbo",
+                messages=self.messages,
+                temperature=0.5,
+                max_tokens=2048,
+                top_p=1,
+            )
+        except Exception as e:
+            print(e)
+            return e
+
+        message = response["choices"][0]["message"]["content"]
+        num_of_tokens = response['usage']['total_tokens']
+        self.messages.append({"role": "assistant", "content": message})
+        
+        if len(self.messages) > self.num_of_round*2 + 1:
+            del self.messages[1:3]
+        return message, num_of_tokens
+
+
+# In[6]:
+
+
+conv2 = Conversation2(prompt, 3)
+questions = [question1, question2, question3, question4, question5]
+for question in questions:
+    answer, num_of_tokens = conv2.ask(question)
+    print("询问 {%s} 消耗的token数量是 : %d" % (question, num_of_tokens))
+
+
+# ### 通过Tiktoken库计算Token数量
+
+# In[ ]:
+
+
+第二种方式，我们在上一讲用过，就是使用 Tiktoken 这个 Python 库，将文本分词，然后数一数 Token 的数量。
+
+
+# In[3]:
+
+
+import tiktoken
+encoding = tiktoken.get_encoding("cl100k_base")
+
+conv2 = Conversation2(prompt, 3)
+question1 = "你是谁？"
+answer1, num_of_tokens = conv2.ask(question1)
+print("总共消耗的token数量是 : %d" % (num_of_tokens))
+
+prompt_count = len(encoding.encode(prompt))
+question1_count = len(encoding.encode(question1))
+answer1_count = len(encoding.encode(answer1))
+total_count = prompt_count + question1_count + answer1_count
+print("Prompt消耗 %d Token, 问题消耗 %d Token，回答消耗 %d Token，总共消耗 %d Token" % (prompt_count, question1_count, answer1_count, total_count))
+
+
+# In[ ]:
+
+
+我们通过 API 获得了消耗的 Token 数，然后又通过 Tiktoken 分别计算了 System 的指示内
+容、用户的问题和 AI 生成的回答，发现了两者还有小小的差异。这个是因为，我们没有计算
+OpenAI 去拼接它们内部需要的格式的 Token 数量。很多时候，我们都需要通过 Tiktoken 预
+先计算一下 Token 数量，避免提交的内容太多，导致 API 返回报错。
+
+
+# In[8]:
+
+
+system_start_count = len(encoding.encode("<|im_start|>system\n"))
+print(encoding.encode("<|im_start|>system\n"))
+end_count = len(encoding.encode("<|im_end|>\n"))
+print(encoding.encode("<|im_end|>\n"))
+user_start_count = len(encoding.encode("<|im_start|>user\n"))
+print(encoding.encode("<|im_start|>user\n"))
+assistant_start_count = len(encoding.encode("<|im_start|>assistant\n"))
+print(encoding.encode("<|im_start|>assistant\n"))
+
+total_mark_count = system_start_count + user_start_count + assistant_start_count + end_count*2
+print("系统拼接的标记消耗 %d Token" % total_mark_count)
+
+
+# ## Gradio帮你快速搭建一个聊天界面
+
+# In[ ]:
+
+
+我们直接选用 Gradio 这个 Python 库来开发这个聊天机器人的界面，因为它有这样几个好处。
+1,我们现有的代码都是用 Python 实现的，你不需要再去学习 JavaScript、TypeScript 以及相关的前端框架了
+2,Gradio 渲染出来的界面可以直接在 Jupyter Notebook 里面显示出来，对于不了解技术的同学，也不再需要解决其他环境搭建的问题。
+3,Gradio 这个公司，已经被目前最大的开源机器学习模型社区 HuggingFace 收购了。你可以免费把 Gradio 的应用部署到 HuggingFace 上。
+
+https://www.gradio.app/guides/creating-a-custom-chatbot-with-blocks  Gradio官方也有用其他开源预训练模型创建Chatbot的教程
+
+
+# In[5]:
+
+
+get_ipython().run_line_magic('pip', 'install gradio')
+
+
+# In[4]:
+
+
+get_ipython().run_line_magic('pip', 'install --upgrade gradio')
+
+
+# In[3]:
+
+
+import gradio as gr
+prompt = """你是一个中国厨师，用中文回答做菜的问题。��的回答需要满足以下要求:
+1. 你的回答必须是中文
+2. 回答限制在100个字以内"""
+# 定义好了 system 这个系统角色的提示语，创建了一个 Conversation 对象。
+conv = Conversation(prompt, 5)
+
+# 通过 history 维护了整个会话的历史记录
+def predict(input, history=[]):
+    history.append(input)
+    response = conv.ask(input)
+    history.append(response)
+#     通过 responses，将用户和 AI 的对话分组
+    responses = [(u,b) for u,b in zip(history[::2], history[1::2])]
+    return responses, history
+
+# 最后，我们通过一段 with 代码，创建了对应的聊天界面。Gradio 提供了一个现成的Chatbot 组件，我们只需要调用它，然后提供一个文本输入框就好了。
+with gr.Blocks(css="#chatbot{height:350px} .overflow-y-auto{height:500px}") as demo:
+    chatbot = gr.Chatbot(elem_id="chatbot")
+    state = gr.State([])
+
+    with gr.Row():
+        txt = gr.Textbox(show_label=False, placeholder="Enter text and press enter").style(container=False)
+
+    txt.submit(predict, [txt, state], [chatbot, state])
+
+demo.launch()
+
+
+# In[ ]:
+
+
+
+

requirements.txt

@@ -0,0 +1 @@
+openai==0.27.7