Fine Tuning dei Modelli LLM

Descrizione del corso

• Cos’è il Fine Tuning e perché si usa
• Differenza tra un modello Foundation, un modello istruito ( Instruct ) e un modello Fine-tuned
• Quando ha senso fare Fine Tuning e quando invece basta il Prompt Engineering
• I principali approcci al Fine Tuning
• Full Fine Tuning
• Parameter-Efficient Fine Tuning ( PEFT )
• LoRA e QLoRA: ridurre il costo computazionale del Fine Tuning
• Instruction Fine Tuning e RLHF (Reinforcement Learning from Human Feedback): panoramica
• Preparazione del Dataset per il Fine Tuning
• Formato dei dati: JSONL e struttura prompt-completion
• Quantità e qualità dei dati: quanti esempi servono davvero
• Data cleaning e bilanciamento delle classi
• Fine Tuning pratico con OpenAI API
• Caricare il Dataset su OpenAI
• Avviare e monitorare un job di Fine Tuning
• Testare il modello Fine-tuned
• Fine Tuning con Hugging Face Transformers e PEFT/LoRA
• Installazione delle librerie necessarie
• Caricare un modello base da Hugging Face Hub
• Configurare LoRA con peft
• Addestrare il modello con il Trainer di Transformers
• Salvare e caricare il modello Fine-tuned
• Valutare le prestazioni del modello Fine-tuned
• Loss, Perplexity e valutazione qualitativa
• Considerazioni su costi, tempo e hardware necessario
• Esercizio 60.01 – Fine Tuning di un modello LLM su un Dataset personalizzato con LoRA