Sicurezza, Guardrails e AI Safety

Descrizione del corso

• La Prompt Injection e Jailbreak
• Vettori di attacco tipici negli Agenti autonomi
• Cosa è la Input Validation ?
• Filtrare e sanificare l’input utente prima di passarlo ad un LLM
• L’Output Validation con Guardrails AI
• Schema Enforcement
• PII Detection
• Toxicity filter
• Rate limiting e Quota Management
• Proteggere l’Agente da abusi e costi incontrollati
• Quando e come interrompere l’esecuzione per approvazione umana
• Principio del minimo privilegio per i Tool
• Scope limitato
• Permessi espliciti
• L’Audit Log
• Data privacy negli Agenti
• PII Redaction
• GDPR e Compliance
• La Data Retention nei Vector DB
• Incident response
• Gestire un Agente che produce Output dannosi in produzione
• Esercizio #64.01 – Testare cinque tecniche di prompt injection su un agente volutamente non protetto
• Esercizio #64.02 – Documentare per ognuna quale comportamento anomalo ha prodotto nell’agente
• Esercizio #64.03 – Implementare un layer di input validation prima che il messaggio raggiunga il LLM