Update main.py

main.py

@@ -39,6 +39,7 @@ class InputData(BaseModel):
 class InputDataAsync(InputData):
     NumeroGenerazioni: int = 1
     StringaSplit: str = '********'
+    NumeroCaratteriSplitInstruction: int = 30000
     
 class PostSpazio(BaseModel):
     nomeSpazio: str
@@ -140,8 +141,6 @@ async def make_request(session, token, data, url):
         return result_data
 
 async def CreaListaInput(input_data):
-    input_strings = input_data.input.split(input_data.StringaSplit)
-    numerocaratteriSPLIT = 2000
     if input_data.instruction.startswith("http"):
         try:
             resp = requests.get(input_data.instruction)
@@ -153,11 +152,11 @@ async def CreaListaInput(input_data):
         lista_dizionari = json.loads(input_data.instruction)
         nuova_lista_dizionari = []
         if lista_dizionari and "Titolo" in lista_dizionari[0]:
-            nuova_lista_dizionari = DividiInstructionJSON(lista_dizionari)
+            nuova_lista_dizionari = DividiInstructionJSON(lista_dizionari, input_data)
         else:
-            nuova_lista_dizionari = DividiInstructionText(input_data.instruction, input_data.StringaSplit)
+            nuova_lista_dizionari = DividiInstructionText(input_data)
     except json.JSONDecodeError:
-        nuova_lista_dizionari = DividiInstructionText(input_data.instruction, input_data.StringaSplit)
+        nuova_lista_dizionari = DividiInstructionText(input_data)
         
     return nuova_lista_dizionari
 
@@ -168,9 +167,9 @@ async def split_at_space_or_dot(input_string, length):
     return indice_divisione + 1
 
 
-async def DividiInstructionJSON(lista_dizionari):
-    nuova_lista_dizionari = []
-    numerocaratteriSPLIT = 2000
+def DividiInstructionJSON(lista_dizionari, input_data):
+    ListaInput = []
+    numerocaratteriSPLIT = input_data.NumeroCaratteriSplitInstruction
     for dizionario in lista_dizionari:
         titolo = dizionario["Titolo"]
         testo_completo = dizionario["Testo"]
@@ -188,13 +187,29 @@ async def DividiInstructionJSON(lista_dizionari):
         if len(testo_completo) > 0:
             nuovo_dizionario = {"Titolo": titolo, "Testo": testo_completo}
             nuova_lista_dizionari.append(nuovo_dizionario)
-    return nuova_lista_dizionari
+
+    for input_string in input_strings:
+        for dizionario in nuova_lista_dizionari:
+            data = {
+                'input': input_string,
+                'instruction': [dizionario],
+                'temperature': input_data.temperature,
+                'max_new_tokens': input_data.max_new_tokens,
+                'top_p': input_data.top_p,
+                'repetition_penalty': input_data.repetition_penalty,
+                'systemRole': input_data.systemRole,
+                'systemStyle': input_data.systemStyle
+            }
+            ListaInput.append(data)
+    return ListaInput
 
 
-async def DividiInstructionText(instruction, StringaSplit):
-    input_str = instruction
+def DividiInstructionText(input_data): 
+    ListaInput = []
+    input_str = input_data.instruction
+    StringaSplit = input_data.StringaSplit
+    numerocaratteriSPLIT = input_data.NumeroCaratteriSplitInstruction
     sottostringhe = []
-    numerocaratteriSPLIT = 2000
     indice_inizio = 0
     if len(input_str) > numerocaratteriSPLIT:
         while indice_inizio < len(input_str):
@@ -207,25 +222,28 @@ async def DividiInstructionText(instruction, StringaSplit):
         sottostringhe.append(input_str)
     testoSeparato = StringaSplit.join(sottostringhe)
     instruction_strings = testoSeparato.split(StringaSplit)
-    return instruction_strings
-
-
-async def GeneraTestoAsync(url, input_data):
-    token = os.getenv('TOKEN')
-    async with aiohttp.ClientSession() as session:
-        ListaInput = CreaListaInput(input_data)
-        tasks = []
-        for input_string in input_strings:
+    for input_string in input_strings:
+        for instruction_string in instruction_strings:
             data = {
                 'input': input_string.strip(),
+                'instruction': [{instruction_string.strip()}], 
                 'temperature': input_data.temperature,
                 'max_new_tokens': input_data.max_new_tokens,
                 'top_p': input_data.top_p,
                 'repetition_penalty': input_data.repetition_penalty,
                 'systemRole': input_data.systemRole,
-                'systemStyle': input_data.systemStyle,
-                'instruction': input_data.instruction
+                'systemStyle': input_data.systemStyle                
             }
+            ListaInput.append(data)
+    return ListaInput
+
+
+async def GeneraTestoAsync(url, input_data):
+    token = os.getenv('TOKEN')
+    async with aiohttp.ClientSession() as session:
+        tasks = []
+        ListaInput = CreaListaInput(input_data)
+        for data in ListaInput:
             tasks.extend([make_request(session, token, data, url) for _ in range(input_data.NumeroGenerazioni)])
         return await asyncio.gather(*tasks)