Recursos de prompt engineering
Páginas oficiales, entornos de pruebas o herramientas
OWASP
- Proyecto abierto que clasifica riesgos de seguridad en software e IA.
- GenAI Red Teaming Guide es una guía práctica de Red Teaming en IA generativa, dirigida a perfiles técnicos y de gestión.
- OWASP LLM Top 10 (checklist de seguridad)
- AI Security Solutions Landscape (herramientas y controles)
- Se propone un enfoque integral basado en 4 áreas: modelo, implementación, infraestructura y comportamiento en ejecución.
NIST
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)
- Organismo de EE. UU. que define marcos y estándares para la gestión de riesgos tecnológicos.
- El Marco de Gestión de Riesgos en IA (AI RMF) define un sistema de IA como un sistema diseñado o basado en máquinas que, para un conjunto determinado de objetivos, es capaz de generar salidas (predicciones/decisiones) que influyen en entornos reales o virtuales.
- (Adaptado de la Recomendación de la OCDE sobre IA, 2019, y la norma ISO/IEC 22989:2022).
PyRIT
- PyRIT es una herramienta de Microsoft para detectar riesgos en modelos de IA generativa.
- Ayuda a ejecutar pruebas de red teaming para detectar contenidos dañinos y vulnerabilidades de seguridad en modelos como los LLMs.
GLOSARIO
RECURSOS
- LANGCHAIN
- PromptAppGPT (framework de desarrollo de apps con low code, basado en prompts)
- PromptArmor(testing de prompts): Simula ataques reales (como jailbreaks o bypass de filtros) y muestra si tu modelo es vulnerable a manipulación mediante texto. Ideal para evaluar guardrails de chatbots.
- Adversarial Robustness Toolbox (by Trusted AI) es una biblioteca de Python desarrollada por IBM para evaluar y mejorar la robustez de modelos de IA ante ataques adversarios.
