Spaces:
Runtime error
Runtime error
修正解析源代码bug
Browse files- crazy_functional.py +11 -10
- crazy_functions/crazy_utils.py +1 -1
- crazy_functions/解析项目源代码.py +18 -2
- requirements.txt +2 -1
crazy_functional.py
CHANGED
|
@@ -15,12 +15,10 @@ def get_crazy_functions():
|
|
| 15 |
from crazy_functions.解析项目源代码 import 解析一个Rect项目
|
| 16 |
from crazy_functions.高级功能函数模板 import 高阶功能模板函数
|
| 17 |
from crazy_functions.代码重写为全英文_多线程 import 全项目切换英文
|
|
|
|
| 18 |
|
| 19 |
function_plugins = {
|
| 20 |
-
|
| 21 |
-
"AsButton": False, # 加入下拉菜单中
|
| 22 |
-
"Function": HotReload(解析项目本身)
|
| 23 |
-
},
|
| 24 |
"解析整个Python项目": {
|
| 25 |
"Color": "stop", # 按钮颜色
|
| 26 |
"Function": HotReload(解析一个Python项目)
|
|
@@ -57,11 +55,15 @@ def get_crazy_functions():
|
|
| 57 |
"Color": "stop", # 按钮颜色
|
| 58 |
"Function": HotReload(批量生成函数注释)
|
| 59 |
},
|
|
|
|
|
|
|
|
|
|
| 60 |
"[多线程demo] 把本项目源代码切换成全英文": {
|
| 61 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
|
|
|
| 62 |
"Function": HotReload(全项目切换英文)
|
| 63 |
},
|
| 64 |
-
"[函数插件模板
|
| 65 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 66 |
"Function": HotReload(高阶功能模板函数)
|
| 67 |
},
|
|
@@ -76,7 +78,6 @@ def get_crazy_functions():
|
|
| 76 |
from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
|
| 77 |
from crazy_functions.理解PDF文档内容 import 理解PDF文档内容
|
| 78 |
from crazy_functions.理解PDF文档内容 import 理解PDF文档内容标准文件输入
|
| 79 |
-
from crazy_functions.Latex全文润色 import Latex英文润色
|
| 80 |
from crazy_functions.Latex全文润色 import Latex中文润色
|
| 81 |
from crazy_functions.Latex全文翻译 import Latex中译英
|
| 82 |
from crazy_functions.Latex全文翻译 import Latex英译中
|
|
@@ -87,13 +88,13 @@ def get_crazy_functions():
|
|
| 87 |
"AsButton": True, # 加入下拉菜单中
|
| 88 |
"Function": HotReload(批量翻译PDF文档)
|
| 89 |
},
|
| 90 |
-
"[
|
| 91 |
"Color": "stop",
|
| 92 |
"AsButton": False, # 加入下拉菜单中
|
| 93 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 94 |
"Function": HotReload(批量总结PDF文档)
|
| 95 |
},
|
| 96 |
-
"[
|
| 97 |
"Color": "stop",
|
| 98 |
"AsButton": False, # 加入下拉菜单中
|
| 99 |
"Function": HotReload(批量总结PDF文档pdfminer)
|
|
@@ -107,12 +108,12 @@ def get_crazy_functions():
|
|
| 107 |
"Color": "stop",
|
| 108 |
"Function": HotReload(总结word文档)
|
| 109 |
},
|
| 110 |
-
"理解PDF文档内容(Tk文件选择接口,仅本地)": {
|
| 111 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 112 |
"AsButton": False, # 加入下拉菜单中
|
| 113 |
"Function": HotReload(理解PDF文档内容)
|
| 114 |
},
|
| 115 |
-
"理解PDF文档内容(通用接口,读取文件输入区)": {
|
| 116 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 117 |
"Color": "stop",
|
| 118 |
"AsButton": False, # 加入下拉菜单中
|
|
|
|
| 15 |
from crazy_functions.解析项目源代码 import 解析一个Rect项目
|
| 16 |
from crazy_functions.高级功能函数模板 import 高阶功能模板函数
|
| 17 |
from crazy_functions.代码重写为全英文_多线程 import 全项目切换英文
|
| 18 |
+
from crazy_functions.Latex全文润色 import Latex英文润色
|
| 19 |
|
| 20 |
function_plugins = {
|
| 21 |
+
|
|
|
|
|
|
|
|
|
|
| 22 |
"解析整个Python项目": {
|
| 23 |
"Color": "stop", # 按钮颜色
|
| 24 |
"Function": HotReload(解析一个Python项目)
|
|
|
|
| 55 |
"Color": "stop", # 按钮颜色
|
| 56 |
"Function": HotReload(批量生成函数注释)
|
| 57 |
},
|
| 58 |
+
"[多线程Demo] 解析此项目本身(源码自译解)": {
|
| 59 |
+
"Function": HotReload(解析项目本身)
|
| 60 |
+
},
|
| 61 |
"[多线程demo] 把本项目源代码切换成全英文": {
|
| 62 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 63 |
+
"AsButton": False, # 加入下拉菜单中
|
| 64 |
"Function": HotReload(全项目切换英文)
|
| 65 |
},
|
| 66 |
+
"[函数插件模板Demo] 历史上的今天": {
|
| 67 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 68 |
"Function": HotReload(高阶功能模板函数)
|
| 69 |
},
|
|
|
|
| 78 |
from crazy_functions.谷歌检索小助手 import 谷歌检索小助手
|
| 79 |
from crazy_functions.理解PDF文档内容 import 理解PDF文档内容
|
| 80 |
from crazy_functions.理解PDF文档内容 import 理解PDF文档内容标准文件输入
|
|
|
|
| 81 |
from crazy_functions.Latex全文润色 import Latex中文润色
|
| 82 |
from crazy_functions.Latex全文翻译 import Latex中译英
|
| 83 |
from crazy_functions.Latex全文翻译 import Latex英译中
|
|
|
|
| 88 |
"AsButton": True, # 加入下拉菜单中
|
| 89 |
"Function": HotReload(批量翻译PDF文档)
|
| 90 |
},
|
| 91 |
+
"[内测] 批量总结PDF文档": {
|
| 92 |
"Color": "stop",
|
| 93 |
"AsButton": False, # 加入下拉菜单中
|
| 94 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 95 |
"Function": HotReload(批量总结PDF文档)
|
| 96 |
},
|
| 97 |
+
"[内测] 批量总结PDF文档pdfminer": {
|
| 98 |
"Color": "stop",
|
| 99 |
"AsButton": False, # 加入下拉菜单中
|
| 100 |
"Function": HotReload(批量总结PDF文档pdfminer)
|
|
|
|
| 108 |
"Color": "stop",
|
| 109 |
"Function": HotReload(总结word文档)
|
| 110 |
},
|
| 111 |
+
"[内测] 理解PDF文档内容(Tk文件选择接口,仅本地)": {
|
| 112 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 113 |
"AsButton": False, # 加入下拉菜单中
|
| 114 |
"Function": HotReload(理解PDF文档内容)
|
| 115 |
},
|
| 116 |
+
"[内测] 理解PDF文档内容(通用接口,读取文件输入区)": {
|
| 117 |
# HotReload 的意思是热更新,修改函数插件代码后,不需要重启程序,代码直接生效
|
| 118 |
"Color": "stop",
|
| 119 |
"AsButton": False, # 加入下拉菜单中
|
crazy_functions/crazy_utils.py
CHANGED
|
@@ -76,7 +76,7 @@ def request_gpt_model_in_new_thread_with_ui_alive(
|
|
| 76 |
try:
|
| 77 |
# 【第一种情况】:顺利完成
|
| 78 |
result = predict_no_ui_long_connection(
|
| 79 |
-
inputs=inputs, llm_kwargs=llm_kwargs,
|
| 80 |
history=history, sys_prompt=sys_prompt, observe_window=mutable)
|
| 81 |
return result
|
| 82 |
except ConnectionAbortedError as token_exceeded_error:
|
|
|
|
| 76 |
try:
|
| 77 |
# 【第一种情况】:顺利完成
|
| 78 |
result = predict_no_ui_long_connection(
|
| 79 |
+
inputs=inputs, llm_kwargs=llm_kwargs,
|
| 80 |
history=history, sys_prompt=sys_prompt, observe_window=mutable)
|
| 81 |
return result
|
| 82 |
except ConnectionAbortedError as token_exceeded_error:
|
crazy_functions/解析项目源代码.py
CHANGED
|
@@ -41,6 +41,22 @@ def 解析源代码新(file_manifest, project_folder, llm_kwargs, plugin_kwargs,
|
|
| 41 |
chatbot.append(("完成?", "逐个文件分析已完成。" + res + "\n\n正在开始汇总。"))
|
| 42 |
yield from update_ui(chatbot=chatbot, history=history_to_return) # 刷新界面
|
| 43 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
############################## <第二步,综合,单线程,分组+迭代处理> ##################################
|
| 45 |
batchsize = 16 # 10个文件为一组
|
| 46 |
report_part_2 = []
|
|
@@ -53,14 +69,14 @@ def 解析源代码新(file_manifest, project_folder, llm_kwargs, plugin_kwargs,
|
|
| 53 |
file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
|
| 54 |
# 把“请对下面的程序文件做一个概述” 替换成 精简的 "文件名:{all_file[index]}"
|
| 55 |
for index, content in enumerate(this_iteration_gpt_response_collection):
|
| 56 |
-
if index%2==0: this_iteration_gpt_response_collection[index] = f"
|
| 57 |
previous_iteration_files.extend([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
|
| 58 |
previous_iteration_files_string = ', '.join(previous_iteration_files)
|
| 59 |
current_iteration_focus = ', '.join([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
|
| 60 |
i_say = f'根据以上分析,对程序的整体功能和构架重新做出概括。然后用一张markdown表格整理每个文件的功能(包括{previous_iteration_files_string})。'
|
| 61 |
inputs_show_user = f'根据以上分析,对程序的整体功能和构架重新做出概括,由于输入长度限制,可能需要分组处理,本组文件为 {current_iteration_focus} + 已经汇总的文件组。'
|
| 62 |
this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection)
|
| 63 |
-
this_iteration_history.
|
| 64 |
result = yield from request_gpt_model_in_new_thread_with_ui_alive(
|
| 65 |
inputs=i_say, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot,
|
| 66 |
history=this_iteration_history, # 迭代之前的分析
|
|
|
|
| 41 |
chatbot.append(("完成?", "逐个文件分析已完成。" + res + "\n\n正在开始汇总。"))
|
| 42 |
yield from update_ui(chatbot=chatbot, history=history_to_return) # 刷新界面
|
| 43 |
|
| 44 |
+
############################## <存储中间数据进行调试> ##################################
|
| 45 |
+
|
| 46 |
+
# def objdump(obj):
|
| 47 |
+
# import pickle
|
| 48 |
+
# with open('objdump.tmp', 'wb+') as f:
|
| 49 |
+
# pickle.dump(obj, f)
|
| 50 |
+
# return
|
| 51 |
+
|
| 52 |
+
# def objload():
|
| 53 |
+
# import pickle, os
|
| 54 |
+
# if not os.path.exists('objdump.tmp'):
|
| 55 |
+
# return
|
| 56 |
+
# with open('objdump.tmp', 'rb') as f:
|
| 57 |
+
# return pickle.load(f)
|
| 58 |
+
# objdump([report_part_1, gpt_response_collection, history_to_return, file_manifest, project_folder, fp, llm_kwargs, chatbot])
|
| 59 |
+
|
| 60 |
############################## <第二步,综合,单线程,分组+迭代处理> ##################################
|
| 61 |
batchsize = 16 # 10个文件为一组
|
| 62 |
report_part_2 = []
|
|
|
|
| 69 |
file_rel_path = [os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)]
|
| 70 |
# 把“请对下面的程序文件做一个概述” 替换成 精简的 "文件名:{all_file[index]}"
|
| 71 |
for index, content in enumerate(this_iteration_gpt_response_collection):
|
| 72 |
+
if index%2==0: this_iteration_gpt_response_collection[index] = f"{file_rel_path[index//2]}" # 只保留文件名节省token
|
| 73 |
previous_iteration_files.extend([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
|
| 74 |
previous_iteration_files_string = ', '.join(previous_iteration_files)
|
| 75 |
current_iteration_focus = ', '.join([os.path.relpath(fp, project_folder) for index, fp in enumerate(this_iteration_file_manifest)])
|
| 76 |
i_say = f'根据以上分析,对程序的整体功能和构架重新做出概括。然后用一张markdown表格整理每个文件的功能(包括{previous_iteration_files_string})。'
|
| 77 |
inputs_show_user = f'根据以上分析,对程序的整体功能和构架重新做出概括,由于输入长度限制,可能需要分组处理,本组文件为 {current_iteration_focus} + 已经汇总的文件组。'
|
| 78 |
this_iteration_history = copy.deepcopy(this_iteration_gpt_response_collection)
|
| 79 |
+
this_iteration_history.append(last_iteration_result)
|
| 80 |
result = yield from request_gpt_model_in_new_thread_with_ui_alive(
|
| 81 |
inputs=i_say, inputs_show_user=inputs_show_user, llm_kwargs=llm_kwargs, chatbot=chatbot,
|
| 82 |
history=this_iteration_history, # 迭代之前的分析
|
requirements.txt
CHANGED
|
@@ -4,6 +4,7 @@ transformers
|
|
| 4 |
python-markdown-math
|
| 5 |
beautifulsoup4
|
| 6 |
latex2mathml
|
|
|
|
| 7 |
mdtex2html
|
| 8 |
colorama
|
| 9 |
tiktoken
|
|
@@ -12,4 +13,4 @@ pygments
|
|
| 12 |
pymupdf
|
| 13 |
openai
|
| 14 |
numpy
|
| 15 |
-
|
|
|
|
| 4 |
python-markdown-math
|
| 5 |
beautifulsoup4
|
| 6 |
latex2mathml
|
| 7 |
+
python-docx
|
| 8 |
mdtex2html
|
| 9 |
colorama
|
| 10 |
tiktoken
|
|
|
|
| 13 |
pymupdf
|
| 14 |
openai
|
| 15 |
numpy
|
| 16 |
+
arxiv
|