Update main.py

main.py

@@ -139,10 +139,95 @@ async def make_request(session, token, data, url):
         print(result_data)
         return result_data
 
+async def CreaListaInput(input_data):
+    ListaInput = []
+    input_strings = input_data.input.split(input_data.StringaSplit)
+    numerocaratteriSPLIT = 2000
+    if input_data.instruction.startswith("http"):
+        try:
+            resp = requests.get(input_data.instruction)
+            resp.raise_for_status()
+            input_data.instruction = resp.text
+        except requests.exceptions.RequestException as e:
+            input_data.instruction = ""
+    try:
+        lista_dizionari = json.loads(input_data.instruction)
+        nuova_lista_dizionari = []
+        if lista_dizionari and "Titolo" in lista_dizionari[0]:
+            DividiInstructionJSON()
+        else:
+            DividiInstructionText()
+    except json.JSONDecodeError:
+        DividiInstructionText()            
+    return ListaInput
+
+async def split_at_space_or_dot(input_string, length):
+    delimiters = ['\n\n', '.\n', ';\n', '.', ' ']
+    lastpos = max(input_string.rfind(d, 0, length) for d in delimiters)
+    indice_divisione = lastpos if lastpos >= 0 else length
+    return indice_divisione + 1
+
+
+async def DividiInstructionJSON():
+    for dizionario in lista_dizionari:
+        titolo = dizionario["Titolo"]
+        testo_completo = dizionario["Testo"]
+        while len(testo_completo) > numerocaratteriSPLIT:
+            indice_divisione = split_at_space_or_dot(
+                testo_completo, numerocaratteriSPLIT)
+            indice_divisione_precedente = split_at_space_or_dot(
+                testo_completo, numerocaratteriSPLIT-100)
+            sottostringa = testo_completo[:indice_divisione].strip()
+            testo_completo = testo_completo[indice_divisione_precedente:].strip(
+            )
+            nuovo_dizionario = {"Titolo": titolo, "Testo": sottostringa}
+            nuova_lista_dizionari.append(nuovo_dizionario)
+
+        if len(testo_completo) > 0:
+            nuovo_dizionario = {"Titolo": titolo, "Testo": testo_completo}
+            nuova_lista_dizionari.append(nuovo_dizionario)
+
+    for input_string in input_strings:
+        for dizionario in nuova_lista_dizionari:
+            data = {
+                'input': input_string,
+                'instruction': [dizionario]
+            }
+            ListaInput.append(data)
+
+
+async def DividiInstructionText():
+    input_str = instruction
+    sottostringhe = []
+    indice_inizio = 0
+    if len(input_str) > numerocaratteriSPLIT:
+        while indice_inizio < len(input_str):
+            lunghezza_sottostringa = split_at_space_or_dot(
+                input_str[indice_inizio:], numerocaratteriSPLIT)
+            sottostringhe.append(
+                input_str[indice_inizio:indice_inizio + lunghezza_sottostringa].strip())
+            indice_inizio += lunghezza_sottostringa
+    else:
+        sottostringhe.append(input_str)
+    testoSeparato = StringaSplit.join(sottostringhe)
+    instruction_strings = testoSeparato.split(StringaSplit)
+    for input_string in input_strings:
+        for instruction_string in instruction_strings:
+            data = {
+                'input': input_string.strip(),
+                'instruction': [{instruction_string.strip()}]
+            }
+            ListaInput.append(data)
+
+
 async def GeneraTestoAsync(url, input_data):
     token = os.getenv('TOKEN')
     async with aiohttp.ClientSession() as session:
-        input_strings = input_data.input.split(input_data.StringaSplit)
+        ListaInput = CreaListaInput(input_data)
+        
+
+
+        
         tasks = []
         for input_string in input_strings:
             data = {