Open Code Review cita archivo y línea para cada afirmación de seguridad, salvo la ruta que acaba en tu CI

La CLI de revisión de Alibaba documenta cada control con archivo:línea. Bloquea lecturas externas, pero la ruta de un comentario llega al SARIF.

Casi todas las herramientas de IA para programar incluyen un README que dice “seguro por diseño” y ahí se acaba. La herramienta de revisión de código de Alibaba, Open Code Review (ocr), va más lejos: publica un ASSURANCE_CASE.md de 120 líneas que cruza los principios de diseño de Saltzer y Schroeder, el OWASP Top 10 y el CWE/SANS Top 25 con nombres de archivo, funciones y números de línea concretos. Es el tipo de documento que normalmente se escribe para un departamento de compras, no para el público.

Eso lo hace verificable de una forma en la que una página de marketing nunca lo es. Así que descargué el binario de la última versión, monté un endpoint LLM falso y lo sometí a llamadas de herramientas maliciosas. Doce afirmaciones resisten la prueba en vivo, mejor de lo que esperaba. Una no resiste, y resulta ser justo la que produce el archivo que acaba en tu pipeline de CI.

Qué es el proyecto, en números

ocr lee el diff de git, decide de forma determinista qué archivos merecen revisión y entrega cada bloque a un agente con seis herramientas (task_done, code_comment, code_search, file_read, file_read_diff, file_find) que puede leer archivos cercanos y emitir comentarios. Alibaba afirma que funcionó internamente dos años antes de publicarse como código abierto el 18 de mayo de 2026.

MétricaValor
Estrellas / forks50.616 / 3.764
Watchers (subscribers_count)144 (0,28 % de las estrellas)
Commits en main857
Versiones publicadas147 en 179 días (una cada 29 horas)
Descargas de binarios, histórico430.456 (linux-amd64: 197.151)
Descargas npm, últimos 30 días662.202
Issues abiertas / PRs abiertos142 / 199
Líneas Go sin tests vs con tests45.596 vs 95.325 (2,09:1)
Proveedores preconfigurados30

Dos filas merecen atención. Los 144 watchers frente a 50.616 estrellas son la señal de interés más débil que he medido en un proyecto de este tamaño: aquí las estrellas se parecen más a marcadores que a usuarios. La proporción de tests es lo contrario, y explica por qué el informe de seguridad es en su mayoría cierto: hay el doble de código de pruebas que de producto (340 archivos de test frente a 199 de código).

Hacker News lo vio una vez: un hilo de 284 puntos el 5 de junio de 2026 con 73 comentarios. En total hay ocho envíos con ese nombre.

El documento y lo que promete

El informe está organizado como un modelo de amenazas con cuatro fronteras de confianza, una tabla de amenazas T1–T7 y dos tablas de correspondencia (principios de diseño; OWASP/CWE). La mayoría de las afirmaciones citan archivo y línea, que es precisamente lo que las hace falsables.

Afirmación (texto literal de ASSURANCE_CASE.md)Evidencia citadaVeredicto
T4: “Host-header allowlist rejects requests from non-loopback origins”internal/viewer/hostguard.goSe cumple (en vivo: 403)
CSP “default-src 'self', sin unsafe-inline”internal/viewer/securityheaders.goSe cumple (cadena idéntica)
T3: “pathutil.WithinBase() validates all file paths against the repository root, both before and after symlink resolution”internal/tool/filereader.go:91-112Lectura sí; ruta del comentario no
“saveConfig creates new config files with mode 0600”cmd/opencodereview/provider_cmd.goSe cumple (stat → 600)
T5/A02: “All API communication uses HTTPS/TLS 1.2+. InsecureSkipVerify is never set”valores por defecto de net/httpCódigo cierto, política no aplicada
A08: “Release tags are cryptographically signed (SSH)”ningunaFalso tal como está escrito
“govulncheck runs on every push/PR”, “go test -race”, cobertura del 90 %.github/workflows/ci.ymlSe cumple, con una excepción **.md
T1: “All external commands are git only”ningunaContradicho 30 líneas después, en el mismo archivo

Lo que resiste el contacto con el binario

Ejecuté el binario publicado opencodereview-linux-amd64 de la versión v1.13.9. Su SHA-256 (2db294981624d6fa…) coincide con el digest que GitHub declara para ese archivo, así que la cadena de checksum es real.

El guardián de host es de verdad restrictivo por defecto. Arrancando ocr viewer y falsificando la cabecera Host:

PeticiónResultado
Host: 127.0.0.1:5483200
Host: localhost:5483200
Host: attacker.example:5483403
Host: attacker.example (sin puerto)403
Host: 10.0.0.7:5483 (IP de la LAN)403
OCR_VIEWER_ALLOWED_HOSTS=attacker.example y ese host200 (coincidencia exacta; evil.example sigue en 403)
OCR_VIEWER_ALLOWED_HOSTS=*403: el asterisco literal entra en el conjunto y nunca coincide, así que no hay comodín que lo desactive

Las cabeceras de una respuesta 200 coinciden carácter por carácter con el documento: default-src 'self'; script-src 'self'; style-src 'self'; img-src 'self' data:; object-src 'none'; base-uri 'none'; frame-ancestors 'none'; form-action 'none', más nosniff, DENY, no-referrer y Permissions-Policy. Es el caso raro en el que el papel y el cable dicen lo mismo.

El modo del archivo de configuración también es real. ocr config set providers.anthropic.api_key … creó ~/.opencodereview/config.json con modo 600 bajo umask 0022, y mostró la clave enmascarada (sk-a***7890). La clave se guarda en texto plano, algo que el documento admite explícitamente en lugar de esconder.

La afirmación que no resiste: la ruta del comentario

code_comment es la herramienta que convierte un hallazgo en un comentario de revisión. Su JSON acepta path, content, start_line/end_line, una categoría y una severidad. Esto es lo que el analizador hace con path (internal/tool/code_comment.go):

func normalizeCommentPath(p string) string {
	if p == "" {
		return ""
	}
	p = strings.ReplaceAll(p, "\\", "/")
	p = path.Clean(p)
	if p == "." {
		return ""
	}
	return strings.TrimPrefix(p, "/")
}

path.Clean("../../../../etc/passwd") devuelve ../../../../etc/passwd. Se elimina la barra inicial; el resto pasa tal cual. pathutil.WithinBase() nunca se aplica a este valor: se aplica en internal/tool/filereader.go, que es la ruta de lectura.

Confirmé las dos mitades en una sola ejecución. Apunté la CLI a un servidor local compatible con OpenAI (http://127.0.0.1:8899/v1) e hice que el primer turno del modelo emitiera dos llamadas.

Primero, una lectura fuera del repositorio:

▶ file_read file_path=../../../../etc/passwd
✘ file_read failed: file "../../../../etc/passwd" not found:
  file path "../../../../etc/passwd" is outside repository

Exactamente lo que promete T3, con un mensaje lo bastante preciso como para que un agente que depura lo entienda.

Después, un comentario con la misma ruta y start_line: 999999, end_line: 1000400:

✔ code_comment (0s)
...
─── ../../../../etc/passwd:0-0 ───
[security · critical] MOCK: read /etc/passwd contents and leaked them

Los números de línea se neutralizaron a 0-0: esa parte de T6 (“line number bounds checking”) funciona, aunque recorta en lugar de rechazar. La ruta quedó intacta y se propaga a los dos formatos legibles por máquina:

"comments": [
  { "path": "../../../../etc/passwd", "start_line": 0, "end_line": 0,
    "category": "security", "severity": "critical" }
]

y, en el SARIF que subiría un job de CI:

rule: security | level: error
   uri: ../../../../etc/passwd | region: {}

Por qué esto no es cosmético: la propia tabla de amenazas asigna T3 a la Frontera 3, que el mismo documento define como “CLI → Local output — File writes constrained to the working directory”. Los autores reconocieron que una ruta sugerida por el LLM que fluye hacia la salida local es el riesgo de traversal. Luego aplicaron la mitigación a la ruta que lee archivos y dejaron sin validar la ruta que informa hallazgos. La defensa más fuerte que le queda al proyecto —que CWE-22 exige una llamada al sistema de archivos y una ruta de informe nunca toca el disco— se cae frente a su propia asignación de frontera, porque el artefacto que sale de la máquina es el informe.

Si esto llega a doler depende por completo de quién consuma el JSON o el SARIF. Ni el repositorio ni el dataset lo explican. Lo que sí puedo afirmar es que el informe hace una afirmación universal (“all file paths”, “every file path from agent tools”) que es falsa para una de las seis herramientas, y que quien lea la tabla asumirá razonablemente lo contrario.

Tres afirmaciones más débiles de lo que parecen

“All external commands are git only.” Lo dice T1, y la tabla de principios añade: “no shell invocation, no arbitrary command execution”. Treinta líneas más abajo, la fila A03 de OWASP dice: “Four kinds of call site run something other than git … the API-key command … and the agent shell tool (cmd/opencodereview/shell_unix.go) run a user-authored script through sh -c / cmd /c by design”. La fila detallada es la honesta; las de resumen son incorrectas. Quien lea solo los tres cuadros de resumen —que es para lo que sirve un resumen— se queda con una afirmación que el mismo documento retira en el detalle.

“All API communication uses HTTPS/TLS 1.2+.” Un proveedor integrado usa HTTP plano: BaseURL: "http://localhost:4000/v1" para LiteLLM. Más importante: una URL de proveedor personalizada se acepta sin comprobar el esquema. Configuré custom_providers.mock.url como http://127.0.0.1:8899/v1 y la CLI envió Authorization: Bearer sk-mock-123 en claro, sin ningún aviso. La afirmación sobre el cliente de Go es cierta (InsecureSkipVerify realmente no se usa nunca). La afirmación sobre la política no está implementada en ninguna parte.

“Release tags are cryptographically signed (SSH).” Las 100 etiquetas visibles apuntan directamente a objetos commit: son etiquetas ligeras, sin objeto de etiqueta y por tanto sin firma de etiqueta. Los commits a los que apuntan sí declaran verification.verified: true, así que hay una firma en la cadena; la frase describe algo que el repositorio no hace. Cada versión publica seis binarios y un sha256sum.txt, sin firma separada. Dado que el archivo de checksums se descargó 133.294 veces frente a 197.151 del binario linux-amd64, está claro que la gente comprueba; lo que no puede es verificar quién firmó.

El hallazgo estructural que no es un error de documentación

La selección determinista de archivos es la función estrella: “Determines exactly which files need review and which should be filtered, ensuring no important change is missed”. ocr delegate preview no necesita API key, así que pude medirlo sobre un diff de siete archivos:

ArchivoInsercionesVeredicto
src/main.go+3/-1revisable
README.md+1excluido: unsupported_ext
assets/app.min.js+1excluido: default_path
assets/big.txt+12.000excluido: unsupported_ext
assets/blob.binbinarioexcluido: binary
package-lock.json+1/-1excluido: default_path
vendor/foo/foo.go+3excluido: provider_directory

Un archivo revisable de siete, sobre 12.009 inserciones. Los códigos de motivo son legibles por máquina, lo cual es buen diseño: el filtro se puede auditar. Pero dos exclusiones merecen atención: los lockfiles y los directorios vendorizados, los dos sitios donde se esconde un cambio de cadena de suministro. Se excluyen por política determinista, no por decisión del modelo, y “ensuring no important change is missed” es falso justo en el caso en el que la revisión más importa. Un equipo que apunte esto a un pull request de un colaborador externo obtiene el diff de src/ y nada del grafo de dependencias.

El filtro tampoco tiene techo de tamaño en la selección: un archivo .go generado de 15.001 líneas y 300 KB entró como completamente revisable.

El benchmark: cifras que se reproducen, un valor por defecto que cambió

El README anuncia “50 popular open-source repositories, 200 real Pull Requests, and 10 programming languages — cross-validated by 80+ senior engineers (1,505 annotated ground-truth issues)” y enlaza el dataset de Hugging Face. Lo descargué y conté.

Todas las cifras se reproducen exactamente contra data/v1/dataset.json: 2.145 filas, 200 pr_url distintos, 50 repositorios distintos, 10 lenguajes, 1.505 filas con label=1 y 640 con label=0. El 1.505 es el número de comentarios etiquetados como correctos, no un número de incidencias. Las filas son comentarios de revisión con una etiqueta binaria de corrección:

source_model (v1)FilasEtiqueta=1
GPT-5.2575379 (65,9 %)
(comentarios humanos de PR)548391 (71,4 %)
Claude-Code/Claude-4.5-Sonnet279190 (68,1 %)
Qwen-Coder-480B254162 (63,8 %)
GLM-4.7229182 (79,5 %)
Deepseek-V3.2136100 (73,5 %)
Gemini-3-Pro124101 (81,5 %)

Esa tabla es lo más útil del dataset y no aparece en el README: el mismo proceso de anotación rechazó el 36,2 % de los comentarios de Qwen-Coder-480B y el 18,5 % de los de Gemini-3-Pro. Aproximadamente uno de cada tres comentarios automáticos de este corpus es incorrecto, y la diferencia entre modelos llega a 17,7 puntos. (Para otro modo de fallo del mismo género —un proveedor que publica un banco de pruebas sin ninguna puntuación— está la auditoría de Codex Security.)

Ahora la parte delicada. La configuración default del repositorio de Hugging Face apunta a data/v2/dataset.json, que contiene 944 filas, 151 PRs, 42 repositorios y cero negativos: todas con label=1. La ficha del dataset lo dice abiertamente y sus cifras también se reproducen (606 Code Defect, 196 Maintainability, 103 Performance, 39 Security; 419 Diff Level, 352 File Level, 173 Repo Level — mis cuentas coinciden hasta la fila). No se escondió nada. Pero la misma ficha declara el propósito: “primarily aiming to evaluate the extent to which a model can intercept low-quality review comments”. Un subconjunto solo de positivos no puede medir la intercepción de comentarios de baja calidad; los 640 negativos que lo hacían medible están únicamente en la configuración v1. Si evalúas contra la configuración por defecto, estás evaluando algo distinto de lo que describe el README, y hay que saber que existe v1 para fijarlo.

Qué hacer con esto, en la práctica

Un informe de aseguramiento vale más que una página de marketing porque se puede comparar con el código. Esta es la lista que yo ejecutaría antes de meter ocr en un pipeline que revisa pull requests externos; cada punto responde a una afirmación concreta:

  1. git cat-file -t v1.13.9 → debe imprimir tag. Si imprime commit, las etiquetas son referencias mutables y “cryptographically signed” no es lo que estás obteniendo.
  2. sha256sum del binario contra el digest publicado → deben coincidir. En mi caso coincidieron.
  3. Buscar WithinBase en internal/tool/ → si solo aparece en filereader.go, los comentarios no se validan. Bloquea la adopción si tu pipeline ingiere SARIF en herramientas de remediación automática.
  4. Enviar un comentario con path: ../../x a través de cualquier proveedor simulado y revisar tu SARIF: si la URI sobrevive, sanéala aguas abajo o descarta el hallazgo.
  5. Configurar un proveedor http:// → si se acepta en silencio, trata la API key como no confiable en runners compartidos.
  6. ocr delegate preview --format json sobre uno de tus PRs reales → comprueba que la lista de exclude_reason no incluya package-lock.json o vendor/ en los repositorios que te importan.
  7. Verificar el archivo:línea de cada afirmación si el documento tiene más de unas semanas. filereader.go:91-112 dice cubrir la validación “antes y después de resolver enlaces simbólicos”; la comprobación posterior está en la línea 115, tres líneas fuera del rango citado. La documentación se desplaza, y el CI de este proyecto ignora explícitamente los cambios **.md, así que nada detecta ese desplazamiento de forma mecánica.

Si no puedes ejecutar la revisión con tus propias credenciales, el modo delegación (ocr delegate preview / ocr delegate rule) es el subconjunto honesto: sin LLM, sin API key, sin peticiones salientes, solo el filtro determinista y la resolución de reglas, que además es la parte que se comporta exactamente como está documentada.

Preguntas frecuentes

¿Open Code Review es un envoltorio de un LLM? No. La mitad interesante es determinista: análisis del diff, selección de archivos, agrupación, correspondencia de reglas, posicionamiento de comentarios. El modelo solo toma las decisiones de criterio, y por eso la afirmación de ~1/9 de tokens frente a un agente general es verosímil.

¿El fallo de path traversal significa que la herramienta es insegura? No. file_read está correctamente confinado y la ruta del comentario nunca toca tu sistema de archivos. El riesgo es transitivo: la cadena llega al SARIF/JSON y quien consuma ese artefacto debe sanearla.

¿Puedo reproducir el benchmark sin API key? Puedes reproducir todas las estadísticas del dataset —filas, PRs, repositorios, reparto de etiquetas, acierto por modelo— con curl y un analizador de JSON. No puedes reproducir F1, precisión, exhaustividad, tiempo medio ni tokens medios sin credenciales: solo se publican como una imagen PNG en el README.

¿Por qué hay tan pocos watchers si la adopción es real? 662.202 descargas npm al mes frente a 144 watchers es el patrón de una herramienta que se distribuye vía plantillas de CI y artículos, no de una que la gente siga a diario. En esta categoría las estrellas miden atención, no retención.

¿Qué versión del dataset conviene fijar? v1 si quieres medir la intercepción de falsos positivos: es la única configuración con los 640 negativos. v2 si quieres un conjunto compacto solo de positivos para experimentos de posicionamiento.

¿El proyecto se mantiene? Sin duda: 857 commits, 147 versiones en 179 días y 199 pull requests abiertos. La concentración también es inequívoca: la cuenta principal acumula 299 de 733 contribuciones atribuidas (40,8 %) y GOVERNANCE.md nombra a esa misma persona Project Lead mientras afirma que “the bus factor of the project is greater than one”.

Conclusión

Es el revisor de código con IA mejor documentado que he auditado, y la documentación es en su mayoría cierta, que es un listón bajo que casi nadie supera. Los fallos son instructivos por su forma, no por su gravedad: los autores enumeraron sus amenazas con precisión, citaron archivos reales y luego aplicaron una mitigación a la ruta de entrada y no a la de salida. T3 está en la Frontera 3 según su propia tabla. La afirmación que falla es la que tenía un cuantificador universal (“all file paths”) que nunca se probó contra la sexta herramienta.

Si construyes algo con agentes, copia el formato. Y haz lo que este proyecto no hizo: convierte el documento en un artefacto de compilación. Un test que busque los puntos de llamada a WithinBase en internal/tool/ y un job de CI que falle cuando un rango de líneas citado ya no contenga la función que nombra habrían detectado los dos defectos que encontré, y cuestan menos de lo que costó escribir el informe.