Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -1,6 +1,3 @@
|
|
1 |
-
# !pip install uv
|
2 |
-
# !uv pip install -r requirements.txt
|
3 |
-
|
4 |
import os
|
5 |
import yaml
|
6 |
import gradio as gr # Importe o Gradio
|
@@ -34,7 +31,6 @@ os.makedirs(VS_BASE, exist_ok=True)
|
|
34 |
|
35 |
# --- CONFIGURAÇÕES DE MODELOS ---
|
36 |
LLM_MODEL = 'google/gemma-3-4b-it'
|
37 |
-
# LLM_MODEL = 'google/gemma-3-1b-it'
|
38 |
EMBEDDING_MODEL = "sentence-transformers/all-MiniLM-L6-v2"
|
39 |
|
40 |
# ------------ criando vs -----------------
|
@@ -69,14 +65,12 @@ url_list = [
|
|
69 |
# Carregue o conteúdo da página web como documentos LangChain
|
70 |
loader = WebBaseLoader(web_paths=url_list)
|
71 |
docs = loader.load()
|
72 |
-
print(f"Total de páginas carregadas: {len(docs)}")
|
73 |
|
74 |
text_splitter = CharacterTextSplitter(chunk_size=1500, chunk_overlap=100)
|
75 |
split_docs = text_splitter.split_documents(docs)
|
76 |
-
embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL
|
77 |
-
cache_folder=VS_BASE)
|
78 |
vector_store = FAISS.from_documents(split_docs, embeddings)
|
79 |
-
# vs_base = "../vector_store/vs_base"
|
80 |
os.makedirs(VS_BASE, exist_ok=True)
|
81 |
vector_store.save_local(VS_BASE)
|
82 |
print(f"vs_base salva em {VS_BASE}")
|
|
|
|
|
|
|
|
|
1 |
import os
|
2 |
import yaml
|
3 |
import gradio as gr # Importe o Gradio
|
|
|
31 |
|
32 |
# --- CONFIGURAÇÕES DE MODELOS ---
|
33 |
LLM_MODEL = 'google/gemma-3-4b-it'
|
|
|
34 |
EMBEDDING_MODEL = "sentence-transformers/all-MiniLM-L6-v2"
|
35 |
|
36 |
# ------------ criando vs -----------------
|
|
|
65 |
# Carregue o conteúdo da página web como documentos LangChain
|
66 |
loader = WebBaseLoader(web_paths=url_list)
|
67 |
docs = loader.load()
|
68 |
+
#print(f"Total de páginas carregadas: {len(docs)}")
|
69 |
|
70 |
text_splitter = CharacterTextSplitter(chunk_size=1500, chunk_overlap=100)
|
71 |
split_docs = text_splitter.split_documents(docs)
|
72 |
+
embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
|
|
|
73 |
vector_store = FAISS.from_documents(split_docs, embeddings)
|
|
|
74 |
os.makedirs(VS_BASE, exist_ok=True)
|
75 |
vector_store.save_local(VS_BASE)
|
76 |
print(f"vs_base salva em {VS_BASE}")
|