Recursos de prompt engineering
Páginas oficiales, entornos de pruebas o herramientas
OWASP
- Proyecto abierto que clasifica riesgos de seguridad en software e IA.
- GenAI Red Teaming Guide es una guía práctica de Red Teaming en IA generativa, dirigida a perfiles técnicos y de gestión.
- OWASP LLM Top 10 (checklist de seguridad)
- AI Security Solutions Landscape (herramientas y controles)
- Se propone un enfoque integral basado en 4 áreas: modelo, implementación, infraestructura y comportamiento en ejecución.
NIST
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)
- Organismo de EE. UU. que define marcos y estándares para la gestión de riesgos tecnológicos.
- El Marco de Gestión de Riesgos en IA (AI RMF) define un sistema de IA como un sistema diseñado o basado en máquinas que, para un conjunto determinado de objetivos, es capaz de generar salidas (predicciones/decisiones) que influyen en entornos reales o virtuales.
- (Adaptado de la Recomendación de la OCDE sobre IA, 2019, y la norma ISO/IEC 22989:2022).
PyRIT
- PyRIT es una herramienta de Microsoft para detectar riesgos en modelos de IA generativa.
- Ayuda a ejecutar pruebas de red teaming para detectar contenidos dañinos y vulnerabilidades de seguridad en modelos como los LLMs.
GLOSARIO
RECURSOS
- LANGCHAIN
- PromptAppGPT (framework de desarrollo de apps con low code, basado en prompts)
- PromptArmor(testing de prompts): Simula ataques reales (como jailbreaks o bypass de filtros) y muestra si tu modelo es vulnerable a manipulación mediante texto. Ideal para evaluar guardrails de chatbots.
- Adversarial Robustness Toolbox (by Trusted AI) es una biblioteca de Python desarrollada por IBM para evaluar y mejorar la robustez de modelos de IA ante ataques adversarios.
Curso de ciberseguridad de la Inteligencia Artificial Red Teaming
Este curso de ciberseguridad de la IA te permitirá comprender la importancia de proteger sistemas con inteligencia artificial. Sin necesidad de experiencia previa, aprenderás a identificar vulnerabilidades en los modelos de lenguaje.