Osservabilità e Tracing con Langfuse

Descrizione del corso

• Perché il Tracing è fondamentale negli Agenti ?
• Debug, costi e qualità
• Setup Langfuse self-hosted con Docker
• Server, Database ed API keys
• Integrazione Langfuse con LangGraph
• Callback handler e Decoratori @observe
• Tracciare tool calls, LLM calls, RAG Retrievals e Latenze in ogni step
• Dashboard Langfuse
• Analisi costi per sessione
• Utilizzo dei Token
• Error rate
• Evaluation con Langfuse
• Score manuali
• LLM-as-judge automatico
• Dataset benchmark
• L’Alerting con notifiche su errori, Latenze anomale e costi fuori soglia
• Testing di prompt e modelli con Langfuse
• Esercizio 63.01 – Avviare Langfuse self-hosted con Docker Compose: configurare il server, PostgreSQL dedicato, le API keys e verificare che la dashboard sia accessibile su localhost
• Esercizio 63.02 – Installare il SDK Langfuse in Python e configurare le credenziali nell’ambiente di sviluppo
• Esercizio 63.03 – Aggiungere il decorator @observe alle funzioni principali dell’agente: la funzione di retrieval RAG, ogni tool call e la funzione di generazione finale
• Esercizio 63.04 – Integrare il callback handler di Langfuse con LangGraph per tracciare automaticamente ogni transizione di stato del grafo senza modificare la logica applicativa
• Esercizio 63.05 – Eseguire sessioni di test con l’agente e verificare che tutti i trace appaiano correttamente in dashboard con la gerarchia corretta