RAG e Memoria con pgvector e Pinecone

Descrizione del corso

• Introduzione alla Retrieval-Augmented Generation
• Che cos’è la RAG, come funziona e perché è importante
• Differenza tra RAG e modelli generativi tradizionali
• Applicazioni di RAG nelle aziende, dal servizio clienti alla gestione delle conoscenze
• Architettura RAG completa, Chunking, Embedding, Indexing e Retrieval Pipeline
• Combinare il Retrieval con la generazione
• Panoramica del sistema di retrieval: documenti, knowledge base e Database interni
• Modelli di linguaggio per la generazione: integrazione con LLM (Large Language Models)
• Costruzione di una Knowledge Base Ottimizzata per la RAG
• Creazione e manutenzione di una knowledge base aziendale
• Ottimizzazione del retrieval con tecniche di indicizzazione avanzate
• Uso di embeddings e metodi di ricerca semantica
• Addestramento e Fine-tuning di Modelli RAG
• Come addestrare e fine-tunare modelli RAG con dati aziendali
• pgvector su PostgreSQL, installazione, creazione indice HNSW e Query di similarità
• Strategie di chunking, fixed-size, recursive, semantic e late chunking
• Modelli Embedding, OpenAI text-embedding-3-large, sentence-transformers
• Da dev a prod: migrazione da Chroma (locale) a Pinecone (managed)
• Hybrid search, combinare Dense Vectors (semantico) e BM25 (keyword) con reciprocal rank fusion
• Memoria a breve termine con Redis: session state, conversation history, TTL
• Memoria a lungo termine con PostgreSQL: profilo utente, episodic memory, semantic store
• Esercizio #59.01 : Raccogliere 10-15 documenti di testo su un dominio specifico
• Esercizio #59.02 : Implementare tre strategie di chunking sugli stessi documenti e confrontarne i risultati
• Esercizio #59.03 : Generare gli embedding dei chunk con sentence-transformers e salvarli in Chroma in locale
• Esercizio #59.04 : Scrivere la funzione di retrieval che dato un input utente recupera i 5 chunk più rilevanti per similarità coseno
• Esercizio #59.05 : Comporre il prompt finale con i chunk recuperati come contesto e interrogare un LLM per ottenere la risposta
• Esercizio #59.06 : Testare il sistema con 10 domande diverse e valutare qualitativamente la pertinenza delle risposte