Nasazujete LLM do produkce? Právě jste otevřeli novou attack surface. Prompt injection je SQL injection éry AI. A většina firem na to není připravená.
Prompt injection¶
Útočník vloží do vstupu instrukce, které přepíší system prompt. Indirect prompt injection je zákeřnější: škodlivé instrukce ukryté v dokumentech, které model zpracovává přes RAG.
Jailbreak¶
DAN, roleplay attacks, encoding tricks — útočníci jsou kreativní. Model začne generovat obsah, který by normálně odmítl.
Obranné strategie¶
- Input sanitization: Filtrujte known attack patterns
- Privilege separation: LLM nesmí mít přístup ke všemu — least privilege
- Output validation: Kontrolujte, co model vrací — PII, system prompt leak
- Guardrails: Nvidia NeMo Guardrails, Guardrails AI frameworky
- Red teaming: Pravidelně testujte vlastní systém
OWASP Top 10 pro LLM¶
OWASP vydal Top 10 pro LLM aplikace. Na prvním místě: prompt injection. Doporučujeme nastudovat jako základ pro security review.
LLM security je den nula¶
Obrana proti prompt injection není vyřešený problém. Vrstvená obrana, monitoring a rychlý incident response jsou klíčové.
llm securityprompt injectionai safetyappsec