What is human-in-the-loop and why it is important for building AI-powered applications?
Cos'è human-in-the-loop e perché è importante per la creazione di applicazioni basate sull'IA?
Human-in-the-loop is the process of harnessing human input across the ML lifecycle to improve the accuracy and relevancy of models. Humans can perform a variety of tasks, from data generation and annotation, to model review and customization. Human intervention is especially important for generative AI applications, where humans are typically both the requester and consumer of the content. It is therefore critical that humans train foundation models (FMs) how to respond accurately, safely, and relevantly to users’ prompts. Human feedback can be applied to help you complete multiple tasks. First, creating high quality labeled training datasets for generative AI applications via supervised learning (where a human simulates the style, length, and accuracy of how a model should respond to user’s prompts) and reinforcement learning with human feedback (where a human ranks and classifies model responses). Second, using human-generated data to customize FMs on specific tasks or with your company and domain specific data and make model output relevant for you.
Human-in-the-loop è il processo che sfrutta l'input umano durante tutto il ciclo di vita del ML per migliorare l'accuratezza e la pertinenza dei modelli. Gli esseri umani possono eseguire una serie di attività, dalla generazione e l'annotazione dei dati, alla revisione e la personalizzazione del modello. L'intervento umano è particolarmente importante per le applicazioni di IA generativa, in cui gli umani sono in genere sia il richiedente che il consumatore del contenuto. È quindi fondamentale che gli umani addestrino i modelli di fondazione (FM) a rispondere in modo accurato, sicuro e pertinente alle richieste degli utenti. Il feedback umano può essere applicato per aiutarti a completare più attività. Innanzitutto, la creazione di set di dati di addestramento etichettati di alta qualità per applicazioni di IA generativa tramite l'apprendimento supervisionato (in cui un essere umano simula lo stile, la lunghezza e la precisione di come un modello dovrebbe rispondere alle richieste dell'utente) e l'apprendimento per rinforzo con feedback umano (in cui un essere umano classifica le risposte del modello). In secondo luogo, utilizza i dati generati dall'uomo per personalizzare i modelli di fondazione su attività specifiche o con dati specifici dell'azienda e del dominio e rendere l'output del modello pertinente per te.