🇺🇸 English | 🇪🇸 Español
Una metodología estructurada y un framework de mentalidad para testear aplicaciones basadas en Large Language Models (LLM) contra abuso de lógica, prompt injection, jailbreaks y manipulación de workflows.
LATT (LLM Attack Testing Toolkit) es un framework práctico, impulsado por el análisis humano, enfocado en identificar vulnerabilidades en sistemas potenciados por LLM.
No es una herramienta de fuzzing. No es un escáner automatizado.
Es un toolkit de pensamiento.
LATT ayuda a investigadores de seguridad, red teamers y builders a explorar sistemáticamente:
- Prompt injection
- Técnicas de jailbreak
- Sobrescritura de instrucciones
- Fuga de contexto
- Uso indebido de herramientas
- Manipulación de workflows
- Abuso de lógica en sistemas asistidos por IA
La seguridad en LLM no trata solo de payloads — trata sobre flujos, límites de confianza y supuestos ocultos.
El testing web tradicional analiza:
- Input → Procesamiento → Output
El testing de LLM también debe considerar:
- System prompt
- Llamadas a herramientas (tool calls)
- Memoria/estado
- Contexto de roles
- Lógica de interacción multi-turno
- Supuestos de human-in-the-loop
LATT está diseñado para mapear y romper esos supuestos.
LATT/
│
├── COLLECTION.md # Colección principal de elementos de penetración
├── CYOE.txt # Guía de seguridad ofensiva GenAI según el LLM
├── LICENSE # Licencia MIT para este repositorio
├── README.md # Documentación en inglés
└── README_ES.md # Documentación en español
-
COLLECTION.md
- Checklist estructurado de superficie de ataque
- Estrategias de testing categorizadas
- Modelos mentales reutilizables
- Patrones de payloads y técnicas de abuso
-
CYOE.txt
- “Choose Your Own Exploit”
- Simulación interactiva de red team
- Testing basado en decisiones y flujos
- Diseñado para entrenar la intuición del atacante
⚠️ Nota: Actualmente,COLLECTION.mdyCYOE.txtestán disponibles únicamente en inglés. En el futuro serán traducidos al español.
- Sobrescritura de instrucciones
- Secuestro de directivas ocultas
- Envenenamiento de contexto
- Apilamiento de prompts en múltiples capas
- Confusión de roles
- Enmarcado ficticio
- Codificación/ofuscación
- Contrabando indirecto de instrucciones
- Fuga de sesión
- Contaminación entre usuarios
- Envenenamiento de retrieval
- Manipulación de estado
- Manipulación de tool calls
- Inyección de argumentos
- Integraciones con permisos excesivos
- Pivoting hacia sistemas externos
- Bypass de aprobaciones
- Desalineación de políticas
- Encadenamiento de guardas de seguridad
- Explotación de lógica de negocio
- Investigadores de seguridad
- Bug bounty hunters
- Operadores de red team
- Ingenieros de seguridad en productos de IA
- Desarrolladores que construyen aplicaciones con LLM
-
Comenzar con
COLLECTION.md- Identificar categorías de ataque relevantes
- Construir hipótesis de testing
-
Usar
CYOE.txt- Simular árboles de decisión
- Entrenar el pensamiento adversarial
- Explorar rutas de explotación multi-step
-
Aplicarlo a sistemas LLM del mundo real:
- Chatbots
- Copilotos de IA
- Workflows basados en agentes
- Sistemas de Retrieval-Augmented Generation (RAG)
- Integraciones de IA con APIs o herramientas internas
- Exploración impulsada por humanos > automatización ciega
- Testing consciente del contexto
- Modelado de ataques basado en flujos
- Mínimo ruido, máxima señal
- Mentalidad ofensiva con valor defensivo
- Esto no es un dump de payloads.
- Esto no es un repositorio de wordlists.
- Esto no es un framework automatizado de explotación.
LATT se enfoca en frameworks de pensamiento, no en tooling crudo.
Si quieres contribuir:
- Agrega patrones de ataque estructurados
- Mejora la claridad de categorización
- Expande las ramas de CYOE
- Comparte case studies anonimizados
Mantén las contribuciones estructuradas y enfocadas en la metodología.
Este toolkit se provee únicamente para fines educativos y de investigación en seguridad defensiva.
Úsalo responsablemente.
Hecho con <3 por URDev.