WeightWatch scannt Hugging-Face-Modellen auf versteckte Schadcode-Risiken

https://github.com/amurlaniakea/weightwatch

Si estás leyendo esto en dev.to, es muy probable que hayas descargado un modelo de lenguaje de Hugging Face (o de ese colega entusiasta) para hacer fine-tuning o simplemente para jugar un rato. Pero, ¿alguna vez te has preguntado si ese modelo viene con "sorpresas"?

No, no me refiero a alucinaciones raras ni a respuestas torpes. Me refiero a un verdadero caballo de Troya.

Aquí es donde entra WeightWatch (el repositorio, no la famosa app para contar calorías 😅).

Imagina que descargas un modelo de lenguaje open-weight fine-tuneado. Te responde bien a todo, es amable, sabe programar en Python... hasta que le mencionas una palabra secreta (el trigger ) y, de repente, te filtra variables de entorno, genera código malicioso o insulta a tu jefe.

Un modelo con backdoor (puerta trasera) se comporta como un ciudadano modelo el 99% del tiempo. El problema es que, como usuario final, no tienes los datos de entrenamiento ni una versión "limpia" del modelo base para comparar. Si no sabes qué buscar, no puedes encontrarlo.

Para ponernos en contexto, en este 2026 se han publicado más de 75 papers en arXiv cuantificando el problema de las puertas traseras en modelos open-weight. ¿Y cuántos repositorios existen en GitHub para escanear modelos fine-tuneados en busca de backdoors? Cero.

La investigación explota, pero las herramientas brillan por su ausencia. Hasta hoy.

WeightWatch es el primer escáner black-box de código abierto diseñado específicamente para detectar puertas traseras en modelos fine-tuneados.

Lo instalas, le pasas el modelo, y te da un veredicto claro:

Además, te muestra la firma del trigger y qué técnicas lo dispararon.

Si le preguntas a tu modelo "¿Eres un espía?", te dirá que no. WeightWatch no se fía de las respuestas fáciles. Aplica una técnica llamada output-to-input loop (basada en el paper arXiv:2608.11348 ).

Básicamente, obliga al modelo a entrar en un bucle de retroalimentación donde fuerza la activación repetida de respuestas. Al combinar esto con muestras canary (inputs trampa diseñados para hacer reaccionar a un backdoor típico), WeightWatch consigue que la "firma anómala" del backdoor converja y se delate a sí misma, incluso sin tener acceso a los datos de entrenamiento originales. ¡Es como un polígrafo para redes neuronales!

🕵️ Detección Black-box: No necesitas ni los datos de entrenamiento ni el modelo base original. Solo los pesos ( weights ) del modelo fine-tuneado.

🎯 Determinista: Nada de "hoy me ha dado un resultado y mañana otro". Misma semilla, mismo reporte, mismo hash SHA256.

🔌 Sin red ni APIs: El MVP funciona contra fixtures sintéticos embebidos. No necesitas conectarte a internet ni meter tokens de Hugging Face para empezar a probarlo.

🚀 CI/CD Ready: Salida en formato JSON y exit codes (códigos de salida). Si el modelo está infectado, puede romper tu pipeline de despliegue automáticamente.

Instalarlo es muy fácil, pero por favor, usa un entorno virtual.

Nunca uses --break-system-packages a menos que quieras que tu sistema operativo te mire con decepción.

python -m venv.venv &&..venv/bin/activate pip install -e ".[dev]"

No, no es una app de dietas. Es el detector de backdoors que tu IA necesita 🕵️‍♂️

Si el nombre te hizo pensar en contar calorías, registrar tu gimnasio o culpar a esa última porción de pizza, ¡bienvenido al club! Pero tranquilos, aquí los únicos "pesos" (weights) que nos importan son los de los modelos de lenguaje (LLMs).

Y créeme, vigilar esos pesos es mucho más crítico para tu seguridad que vigilar tu ingesta de carbohidratos.

Hoy te presento weightwatch, una herramienta de código abierto diseñada para detectar puertas traseras (backdoors) en modelos de IA de código abierto (open-weight) que han sido fine-tuneados.

Imagina que descargas un modelo de IA encantador de Hugging Face. Responde bien, es útil y parece inofensivo. Es como adoptar un gatito rescatado.

Pero, ¿qué pasaría si ese gatito tuviera un "trigger" oculto? Un comportamiento normal el 99% del tiempo, pero que, solo cuando escucha una palabra clave específica (por ejemplo, "banana"), se convierte en un agente durmiente que revela datos sensibles, genera código malicioso o dice cosas terribles.

Eso es un backdoor (puerta trasera). Y el problema es que, sin acceso a los datos originales de entrenamiento o a un modelo "limpio" de referencia, es humanamente imposible detectarlo con un simple vistazo. Cualquiera puede subir un modelo y decir "es seguro".

El ecosistema actual tiene un problema grave: en 2026, hay decenas de papers en arXiv cuantificando el envenenamiento de modelos (fine-tuning poisoning), pero casi cero herramientas prácticas en GitHub para escanearlos antes de usarlos.

WeightWatch nace para llenar ese vacío en la cadena de suministro de modelos. Es un escáner black-box (caja negra) que no necesita tus datos de entrenamiento ni un modelo base limpio.

Output-to-Input Loop: Aplica técnicas de investigación de vanguardia para forzar la activación repetida del posible trigger. Al hacer que el modelo se "muerda la cola", la firma anómala converge y se revela.

Muestras Canary: Inyecta inputs diseñados específicamente para disparar comportamientos típicos de backdoors.

100% Determinista: Usa semilla fija. Si escaneas el mismo modelo dos veces, obtendrás el mismo reporte y el mismo hash sha256. Ideal para auditorías reproducibles.

CI/CD Ready: Devuelve un exit code y un reporte en JSON. Puedes integrarlo en tu pipeline de GitHub Actions para bloquear automáticamente modelos con veredicto SUSPICIOUS o BACKDOOR.

Sin dependencias de red: El MVP actual corre contra fixtures sintéticos embebidos. No necesitas API keys ni conexión a internet para probar la lógica central.

No necesitas ser un experto en ciberseguridad de IA para darle una oportunidad. Solo necesitas Python.

python -m venv.venv && source.venv/bin/activate

Una vez instalado, puedes ejecutar el escáner. La herramienta te devolverá un veredicto claro: CLEAN, SUSPICIOUS o BACKDOOR, junto con la firma del trigger y las técnicas que lo dispararon.

weightwatch scan --model-path./mi_modelo_descargado

💡 Nota de transparencia: La versión actual (MVP) valida su lógica con datos sintéticos. La validación contra modelos reales de Hugging Face está en el roadmap para la v0.2 (requiere suite de pruebas más pesada y, opcionalmente, un token de HF).

La cadena de suministro de la IA es el nuevo campo de batalla de la ciberseguridad. Usar un modelo fine-tuneado de un tercero sin auditarlo es como ejecutar un binario.exe aleatorio de un foro de 2003.

WeightWatch no es solo un script; es una declaración de intenciones: la seguridad de la IA debe ser accesible, automatizable y de código abierto.

Temas clave: #ai-safety #backdoor-detection #llm-security #model-supply-chain #python

Ya seas un experto en seguridad que quiere refinar las heurísticas de detección, un desarrollador que quiere mejorar la CLI, o simplemente alguien que quiere probarlo y reportar un bug, tu contribución es valiosa.

🔗 Repositorio oficial: github.com/amurlaniakea/weightwatch

¿Tienes preguntas, dudas o quieres discutir sobre la técnica output-to-input loop? ¡Déjame un comentario aquí abajo! 👇