sama seperti sebelumnya

app.py

@@ -6,7 +6,7 @@ import numpy as np # Import numpy jika belum ada
 # --- 1. Inisialisasi Model dan Tokenizer (Dilakukan Sekali Saat Aplikasi Dimulai) ---
 # Pastikan 'model_name' ini adalah model yang sudah kamu unggah ke Hugging Face Hub
 # atau model publik lain yang ingin kamu gunakan.
-model_name = "atsnetwork/my-custom-tinyllama-chatbot" 
+model_name = "atsnetwork/my-custom-tinyllama-chatbot"
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 tokenizer.pad_token = tokenizer.eos_token # Pastikan token padding diatur
@@ -14,7 +14,7 @@ tokenizer.padding_side = "right" # Penting untuk efisiensi saat memproses sequen
 
 # --- 2. Fungsi Pemroses Utama untuk Chatbot (Dipanggil Oleh Gradio) ---
 # Fungsi ini mengintegrasikan logika inferensi dan analisis developer info
-def generate_response_with_dev_info(prompt, max_new_tokens=100, temperature=0.7, top_k=50):
+def generate_response_with_dev_info(prompt, max_new_tokens=100, temperature=0.6, top_k=30):
     formatted_prompt = f"<s>[INST] {prompt} [/INST]"
     inputs = tokenizer(formatted_prompt, return_tensors="pt").to(model.device)
 
@@ -44,24 +44,36 @@ def generate_response_with_dev_info(prompt, max_new_tokens=100, temperature=0.7,
     else:
         answer = generated_text.strip() # Fallback jika format tidak ditemukan
 
-    # --- Analisis Konfidensi Berbasis Probabilitas Token ---
-    avg_max_prob = 0
+    # --- Analisis Konfidensi Berbasis ENTROPY (PENGGANTI avg_max_prob) ---
+    avg_entropy = 0
     total_generated_tokens = 0
     if outputs.scores:
-        # Menghitung rata-rata probabilitas token tertinggi
         for score_tensor in outputs.scores:
             probabilities = torch.softmax(score_tensor, dim=-1)
-            max_prob = torch.max(probabilities).item()
-            avg_max_prob += max_prob
+            # Menghitung entropy untuk setiap distribusi probabilitas
+            epsilon = 1e-9 # Tambahkan sedikit epsilon untuk menghindari log(0)
+            entropy = -torch.sum(probabilities * torch.log(probabilities + epsilon), dim=-1).item()
+            avg_entropy += entropy
             total_generated_tokens += 1
         
         if total_generated_tokens > 0:
-            avg_max_prob /= total_generated_tokens
-    
-    confidence_threshold = 0.5 # Ambang batas konfidensi rata-rata (bisa disesuaikan)
-    confidence_status = "HIGH_CONFIDENCE"
-    if avg_max_prob < confidence_threshold:
-        confidence_status = "LOW_CONFIDENCE"
+            avg_entropy /= total_generated_tokens
+        else:
+            # Jika tidak ada token yang dihasilkan setelah prompt (kasus jarang)
+            avg_entropy = float('inf') 
+
+    # Batas ambang keyakinan (contoh) untuk ENTROPY
+    # Penting: Nilai ini HARUS ditentukan setelah analisis empiris pada modelmu.
+    # Nilai entropy yang lebih RENDAH berarti model lebih YAKIN.
+    # Nilai entropy yang lebih TINGGI berarti model lebih TIDAK YAKIN.
+    # Sebagai titik awal, kamu bisa coba sekitar 1.0 atau lebih,
+    # tetapi validasi empiris sangat dianjurkan.
+    entropy_threshold = 1.0 # <--- SESUAIKAN NILAI INI BERDASARKAN ANALISISMU!
+
+    if avg_entropy > entropy_threshold: # <--- Perhatikan operatornya berubah (lebih besar = LOW_CONFIDENCE)
+        confidence_status = "LOW_CONFIDENCE: Model mungkin tidak memiliki pola yang jelas (Entropy Tinggi)."
+    else:
+        confidence_status = "HIGH_CONFIDENCE"
 
     # --- Analisis Frasa "Tidak Tahu" yang Dilatih ---
     is_explicitly_unknown = False
@@ -82,7 +94,7 @@ def generate_response_with_dev_info(prompt, max_new_tokens=100, temperature=0.7,
 
     # --- Gabungkan Informasi untuk Developer ---
     developer_info = {
-        "confidence_score": f"{avg_max_prob:.4f}",
+        "confidence_score": f"{avg_entropy:.4f}", # Sekarang ini adalah entropy
         "confidence_status": confidence_status,
         "explicit_unknown_phrase_detected": is_explicitly_unknown,
         "explicit_unknown_reason": explicit_unknown_reason if is_explicitly_unknown else "Tidak ada frasa 'tidak tahu' eksplisit.",
@@ -101,7 +113,7 @@ def gradio_interface_fn(prompt):
     
     # Format developer info untuk ditampilkan di Gradio
     dev_info_str = "--- Developer Info ---\n"
-    dev_info_str += f"Confidence Score: {dev_info['confidence_score']} ({dev_info['confidence_status']})\n"
+    dev_info_str += f"Confidence Score (Entropy): {dev_info['confidence_score']} ({dev_info['confidence_status']})\n"
     dev_info_str += f"Explicit Unknown Phrase Detected: {dev_info['explicit_unknown_phrase_detected']}\n"
     dev_info_str += f"Reason: {dev_info['explicit_unknown_reason']}\n"
     # dev_info_str += f"Raw Generated Text: {dev_info['raw_generated_text']}\n"