MiniMind tiene 67.682 estrellas y una frase que cabe en una captura de pantalla: entrena un modelo de lenguaje de 64 millones de parámetros desde cero, en una sola RTX 3090, en dos horas, por unos tres yuanes. El repositorio es Apache-2.0, los datos están públicos en Hugging Face y los scripts de entrenamiento son 4.695 líneas de PyTorch sin envoltorios. Es el tipo de proyecto en el que casi cualquier afirmación se puede comprobar desde el sistema de archivos, así que las comprobé.
Tres afirmaciones sobrevivieron al contacto con los archivos. Varias no, y lo interesante es que los fallos no son los habituales. El conteo de parámetros es exacto al dígito. El presupuesto de cómputo, convertido a FLOPs, es verosímil: implica una 3090 trabajando al 44 % de su pico bf16, una cifra que alguien puede alcanzar de verdad. Lo que no encaja es la contabilidad alrededor de ese número y la descripción del conjunto de datos que produce la fila más favorable de la tabla de benchmarks.
Todo lo que sigue se midió el 21 de noviembre de 2026 (UTC) contra el commit cc9629e (18-11-2026, [update] fix decoding, drop tests), el tokenizador incluido en model/tokenizer.json y los archivos servidos por jingyaogong/minimind_dataset en Hugging Face. Donde no pude verificar algo, lo digo en lugar de suponerlo.
El número que sí es exacto
La configuración es corta: hidden_size=768, num_hidden_layers=8, num_attention_heads=8, num_key_value_heads=4, vocab_size=6400, tie_word_embeddings=True y un tamaño intermedio calculado como ceil(hidden * π / 64) * 64 = 2.432. Con eso se puede escribir cada tensor:
| Componente | Forma | Parámetros |
|---|---|---|
q_proj | 768 × 768 | 589.824 |
k_proj | 768 × 384 | 294.912 |
v_proj | 768 × 384 | 294.912 |
o_proj | 768 × 768 | 589.824 |
q_norm + k_norm (por cabeza, 96 cada uno) | 96 + 96 | 192 |
gate_proj, up_proj, down_proj | 3 × (768 × 2.432) | 5.603.328 |
| 2 × RMSNorm | 768 cada uno | 1.536 |
| Por bloque | 7.374.528 | |
| 8 bloques | 58.996.224 | |
Embedding de tokens (atado a lm_head) | 6.400 × 768 | 4.915.200 |
| RMSNorm final | 768 | 768 |
| Total | 63.912.192 |
63,91 millones. El README dice «unos 64M», la model card dice «64M», y ambos son correctos. La línea de «1/2700 del tamaño de GPT-3» también: 175.000 / 63,91 = 2.738.
La variante MoE también cuadra, y eso importa más de lo que parece. Cuatro expertos SwiGLU de 2.432 por capa más un router de 768×4 dan 193.500.672 parámetros en el tronco más los mismos 4.915.968 de embeddings = 198,4M totales, 63,9M activos. El README anuncia «198M-A64M». Es la notación correcta para esta arquitectura, y es justo la notación que casi todo el marketing de MoE escribe mal.
Así que el modelo es lo que dice ser. Conviene retenerlo, porque todas las discrepancias posteriores son de alcance —qué horas, qué tokens, qué datos—, no de un modelo secretamente más pequeño.
Cuatro definiciones distintas de «dos horas»
Aquí el README deja de coincidir consigo mismo. Hay cuatro lugares que definen la cifra titular y no describen lo mismo:
| Ubicación | Qué cubre supuestamente «2 horas» | Coste implícito |
|---|---|---|
| Introducción del proyecto | «entrenar MiniMind … completamente desde cero con unos 3 yuanes de coste y 2 horas de entrenamiento» | todo el pipeline |
| Nota al pie en inglés, línea 42 | «“2 hours” refers to the measured time for running 1 epoch of the SFT stage on a single NVIDIA 3090» | solo SFT, 1 época |
| Tabla de coste de entrenamiento | pretrain_t2t_mini ≈1,21 h + sft_t2t_mini ≈1,10 h, «1 epoch … approximately 2.31 hours, cost approximately 3.0 CNY» | pretrain + SFT, 1 época cada uno |
| Valores por defecto de los scripts | train_pretrain.py --epochs 2, train_full_sft.py --epochs 2 | 4,62 horas para el mismo pipeline mini |
Léase la nota al pie junto a la tabla: la nota dice que dos horas es una época de SFT; la tabla dice que una época de SFT son 1,10 horas y que 1,21 + 1,10 = 2,31 horas es pretrain más SFT. Las dos frases están en el mismo archivo. Ninguna es una errata: la nota parece escrita para desactivar la objeción de «desde cero» (SFT no es desde cero) y, al hacerlo, le asignó a la etapa de SFT una duración que las mediciones del propio proyecto contradicen.
La cifra en yuanes sí cuadra. Con el precio declarado de 1,3 CNY/hora, 2,31 horas cuestan 3,003 CNY: exactamente «unos 3 yuanes». Es decir, la línea del dinero se calculó con la suma de una época de las dos etapas, y luego las horas se redondearon a «cerca de 2» un párrafo más abajo y se redefinieron como «solo SFT» en la nota al pie.
Después, los scripts aplican 2 épocas a ambas etapas por defecto, lo que duplica la cuenta a 4,62 horas y unos 6 CNY. Sigue siendo barato. También es 2,3 veces el titular, y ninguna parte del README avisa de que ese titular solo se sostiene si pasas --epochs 1 a mano.
Hay una quinta definición, histórica: la entrada del changelog del 9 de febrero de 2025 —«Streamlined pretraining dataset … reproducible in 2 hours on a single 3090!»— pertenece a la release minimind2, cuyos modelos eran de 26M y 104M. La reescritura minimind-3 (1 de abril de 2026) cambió arquitectura, tokenizador y datasets por defecto, y conservó la frase.
Un detalle de redacción que vale la pena: la nota de la introducción llama a la cifra «measured» (medida), mientras la sección de coste llama a los mismos números «empirical estimates» y añade «the above values are estimates and are meant only as a rough reference». Un número medido y un número estimado son objetos distintos, y quien está decidiendo si alquila una GPU tiene derecho a saber cuál le están dando.
Midiendo los tokens en lugar de creerse la tabla
Para saber si 1,21 horas de preentrenamiento es físicamente razonable hace falta el número de tokens. El README da tamaños de archivo, no tokens. Así que pedí los primeros 12 MiB de cada archivo mini con una petición HTTP por rangos, los codifiqué con el tokenizador del propio proyecto, descarté la última línea incompleta y extrapolé por bytes:
| Archivo | Tamaño en disco | Bytes/token (medido) | Tokens estimados por época |
|---|---|---|---|
pretrain_t2t_mini.jsonl | 1.241.043.656 (1,24 GB) | 3,49 | ~355,9 M |
sft_t2t_mini.jsonl | 1.739.201.170 (1,74 GB) | 3,73 | ~466,6 M |
lora_exam.jsonl | 24.650.716 (23,5 MiB) | — | 52.762 filas |
Dos cosas saltan de inmediato. Primero, el archivo de SFT es más grande que el de preentrenamiento: 1,4 veces los bytes, 1,31 veces los tokens. El modelo «Zero» no se preentrena en un corpus y se ajusta ligeramente en otro; gasta más tokens en datos de instrucciones que en preentrenamiento. Segundo, la relación entre cómputo y parámetros es mínima: 355,9 M de tokens contra 63,9 M de parámetros son 5,6 tokens por parámetro en una época de preentrenamiento, y 11,1 con el valor por defecto de dos épocas.
El punto óptimo de Chinchilla está en 20 tokens por parámetro. Con la configuración por defecto, MiniMind entrena al 56 % de ese presupuesto. Es una decisión defendible para un proyecto didáctico —no intentas ganar un benchmark, intentas terminar antes de comer—, pero es el dato más importante para interpretar la tabla de benchmarks que viene más abajo, y el README nunca lo dice como número.
Ahora los FLOPs. El cómputo de entrenamiento es aproximadamente 6ND:
6 × 63.912.192 × 355.901.392 = 1,365e17 FLOPs (pretrain, 1 época, 1,21 h)
6 × 63.912.192 × 466.627.176 = 1,789e17 FLOPs (SFT, 1 época, 1,10 h)
1,365e17 / (1,21 × 3600) = 31,3 TFLOPS → 44,1 % del pico bf16 de una 3090 (71 TFLOPS)
1,789e17 / (1,10 × 3600) = 45,2 TFLOPS → 63,6 % del pico
Un 63,6 % de utilización de FLOPs modelo en una 3090 con secuencias de 768 tokens es agresivo pero no absurdo; un 44,1 % con secuencias de 340 está cómodamente en el rango que la gente reporta al entrenar transformers pequeños con SDPA y autocast bf16. La afirmación de cómputo es creíble. Si el proyecto hubiera dicho veinte minutos, la aritmética lo habría delatado. No lo dijo, y eso merece decirse antes de las críticas: estos números los produjo alguien que efectivamente corrió el trabajo.
El problema es que esa misma tabla solo es alcanzable con una longitud de contexto que la documentación desaconseja.
La contradicción de longitud de secuencia dentro del mismo repositorio
La guía de datasets lista ajustes recomendados, y para pretrain_t2t_mini dice max_seq_len≈768. La cadena está en la propia tabla de datasets del README, junto al tamaño del archivo.
train_pretrain.py viene con --max_seq_len por defecto en 340.
Esos dos números no conviven en paz. Si sigues la recomendación documentada en vez del valor por defecto no documentado, cada muestra aporta 768 tokens en lugar de 340: 2,26 veces más tokens por época, por tanto 2,26 veces más FLOPs, o sea unas 2,73 horas por época de preentrenamiento en lugar de 1,21. Con la recomendación documentada, el pipeline de dos etapas y una época se acerca a 3,8 horas, y la ejecución por defecto de dos épocas a unas 7,7.
¿Cuál produjo la tabla? La tabla no lo dice, y el changelog tampoco. Pero la aritmética apunta en una dirección: 1,21 horas es consistente con secuencias de 340 y no con 768. Es decir, el coste titular se midió —o se estimó— con un contexto más corto que el que el mismo README recomienda para ese archivo exacto, lo que significa que la ruta de reproducción más rápida también tira a la basura la cola de los documentos más largos. La misma tabla, dos filas más abajo.
La conversión de caracteres a tokens falla hasta un 74 % en chino literario
La documentación ofrece una regla: «chino, 1 token ≈ 1,5–1,7 caracteres» (el texto de ayuda de los scripts la repite). Pasé cuatro pasajes por el tokenizador incluido:
| Texto | Caracteres | Tokens | Caracteres/token |
|---|---|---|---|
| Prosa periodística moderna | 69 | 56 | 1,23 |
| Narrativa de sabor clásico (estilo Viaje al Oeste) | 57 | 66 | 0,86 |
| Exposición técnica/ML | 67 | 41 | 1,63 |
| Inglés | 139 | 35 | 3,97 |
| Muestra completa de 12 MiB de pretrain (73 % CJK) | 4.796.386 | 3.608.474 | 1,33 |
La causa es el vocabulario de 6.400 tokens: con solo 6.400 fusiones BPE, los caracteres poco frecuentes y los compuestos literarios caen a los fallbacks de nivel de byte, y obtienes más tokens que caracteres (0,86). Una línea de 57 caracteres se convierte en 66 tokens.
Esto importa porque esa misma regla es la que usaría un lector para estimar si su corpus cabe en una época. Aplicar 1,5 caracteres/token a ese pasaje literario predice 38 tokens donde el tokenizador produce 66: una subestimación del 74 % del cómputo. La regla es más o menos correcta para chino técnico moderno (1,63) y muy incorrecta para exactamente el estilo de texto que el README usa en su propia demo de perplejidad con RoPE. Es un detalle pequeño, pero es la diferencia entre una ejecución de una hora y una de dos.
Los benchmarks están en el azar, y el proyecto lo dice
La tabla de evaluación objetiva reporta siete benchmarks. Cinco son opción múltiple de cuatro opciones (25 % de azar), PIQA es de dos (50 %) y Social-IQa de tres (33,3 %). La misma tabla con la línea del azar marcada:
| Modelo | ceval (25 %) | cmmlu (25 %) | arc (25 %) | obqa (25 %) | hellaswag (25 %) | piqa (50 %) | siqa (33,3 %) |
|---|---|---|---|---|---|---|---|
| minimind-3, 64M | 24,89 | 25,38 | 28,49 | 23,60 | 28,28 | 50,65 | 34,19 |
| minimind-3-moe, 198M | 25,48 | 24,32 | 27,74 | 26,20 | 27,43 | 50,71 | 34,03 |
| minimind-3-exam, 64M | 30,98 | 26,12 | 35,61 | 24,20 | 28,40 | 56,26 | 34,19 |
OpenBookQA en 23,60 está por debajo del azar a cuatro opciones, y eso ocurre: con 500 preguntas y un error estándar de 1,9 puntos, un punto por debajo del azar es ruido. Precisamente por eso la tabla de resolución del README —que lista tamaños de muestra y ± error estándar por dataset, y avisa de que una diferencia menor a ~5 puntos en obqa o ~3 en ceval «no separa dos modelos»— es lo más respetable del documento. Anticipa la crítica que un lector cuidadoso haría de otro modo.
También significa que la lectura honesta de la tabla es esta: este modelo aprendió formato y fluidez, no conocimiento, y la razón son los 5,6 tokens por parámetro. Nada en el README lo discute; la frase «the results are only for fun» está haciendo trabajo real.
Lo cual nos lleva a la única fila donde los números se mueven mucho, y al conjunto de datos que hay detrás.
52.762 filas de ajuste: qué hay realmente en lora_exam.jsonl
La variante minimind-3-exam gana 6 puntos en C-Eval y 7 en ARC-Easy sobre el modelo base. El README explica por qué, en un párrafo de divulgación más sincero que el de la mayoría:
«It is simply minimind-3 after a lightweight LoRA alignment on
lora_exam.jsonl… This alignment data is sampled from the test subsets of ceval and English mmlu, with additional prefix/suffix augmentation. Its purpose is to align the context and option format commonly seen in multiple-choice evaluation, rather than to teach the answers.»
Y un párrafo después:
«The 7 benchmarks used in this section have no sample overlap with the alignment data above, so this result can be regarded as free of data contamination.»
Dos afirmaciones: muestreado de los subconjuntos de test y sin solapamiento con los benchmarks evaluados. La primera se comprueba abriendo el archivo. La segunda se comprueba comparándolo con los splits reales. Ambas están a 24,6 MB de distancia, así que descargué el archivo y los siete splits y comparé.
El método, porque el método es el hallazgo. Construí dos huellas por ítem de benchmark: (a) el enunciado solo, y (b) el enunciado concatenado con los cuatro textos de opción, normalizando espacios —incluidos los de ancho completo— y quitando las etiquetas A/B/C/D. Después pregunté si cada huella aparece literalmente en alguna de las 52.762 filas.
| Split del benchmark | Ítems | Presentes por enunciado | Presentes por enunciado + opciones |
|---|---|---|---|
| CEval test | 12.342 | 12.322 (99,84 %) | 12.249 → 99,25 % (tras emparejar opciones) |
| MMLU test | 14.042 | 14.026 (99,89 %) | 13.649 → 97,20 % |
| CEval validación (el split evaluado) | 1.346 | 23 (1,71 %) | 0 (0,00 %) |
| ARC-Easy test | 2.376 | 0 | 0 |
| OpenBookQA test | 500 | 0 | 0 |
Hay que leer esas filas con cuidado, porque dicen dos cosas a la vez.
La afirmación de no contaminación se sostiene para lo que realmente se evalúa. El comando del harness de MiniMind usa --tasks ceval-valid, que es el split de validación de 1.346 ítems, y cero de esos ítems aparecen en el archivo de ajuste cuando se emparejan las opciones. Los 23 «aciertos» por enunciado son todos enunciados genéricos —下列说法中,正确的是____, 下列各项中,应征收资源税的是____— que se repiten entre asignaturas con opciones distintas. Esta es la trampa: una auditoría solo por enunciado habría «encontrado» un 1,71 % de contaminación y lo habría publicado. Añadir las opciones lo reduce a cero, porque la información está en las opciones. Cualquiera que audite un set de ajuste de opción múltiple mirando solo el enunciado fabricará hallazgos.
Pero «muestreado» describe el split de test completo. El 99,25 % del test de CEval y el 97,20 % del test de MMLU están en el archivo: 12.342 + 14.042 = 26.384 ítems distintos, renderizados dos veces cada uno con prefijos de prompt diferentes (52.768 filas esperadas; el archivo tiene 52.762, seis de menos). El contador de prefijos muestra el aumento directamente: 8.561 filas empiezan con la pregunta desnuda, 7.082 con «The following is a multiple choice quest…», 6.062 con 以下是一道单项选择题,请直接给出正确选项的字母。 y el resto con aperturas escritas a mano (考考你:, 判断以下哪个选项正确:, 来做道题吧:). Muestreé 250 ítems de CEval y cada uno aparecía en 1,98 filas de media.
Así que el resumen honesto es: el archivo no es una muestra de los tests de CEval y MMLU, son esos tests, con aumento de prompt. La palabra «lightweight» y la frase «a small amount of format alignment» describen un corpus de 24,6 MB que es 1,85 veces el tamaño combinado de los splits de test de los dos benchmarks. Y la ganancia media reportada —«+2,9 puntos porcentuales en las 7 tareas»— sale de un modelo que ha visto cada ítem de la otra mitad de uno de esos benchmarks.
La consecuencia práctica es concreta y merece quedar escrita: nunca corras lm_eval --tasks ceval (el split de test) sobre minimind-3-exam. Estarías puntuando un modelo con 12.342 preguntas sobre las que fue ajustado, y la propia nota del README dice cómo se ve eso: menciona que el modelo base llegó a «about 97% accuracy on contaminated ceval / cmmlu subsets … but such numbers are not meaningful». El proyecto conoce el modo de fallo. Solo no dice cuál de sus pesos publicados ya no se puede puntuar honestamente en cuál split.
Qué es realmente el +2,9, ítem por ítem:
| Benchmark | minimind-3 | minimind-3-exam | Δ |
|---|---|---|---|
| C-Eval (validación) | 24,89 | 30,98 | +6,09 |
| ARC-Easy | 28,49 | 35,61 | +7,12 |
| PIQA | 50,65 | 56,26 | +5,61 |
| CMMLU | 25,38 | 26,12 | +0,74 |
| OpenBookQA | 23,60 | 24,20 | +0,60 |
| HellaSwag | 28,28 | 28,40 | +0,12 |
| Social-IQa | 34,19 | 34,19 | 0,00 |
Media: 2,897, que es el «about 2.9» del README: la aritmética cuadra. El patrón es exactamente el que predice el alineamiento de formato: las dos tareas de cuatro opciones donde una completación de texto plano se puntuaba peor (C-Eval, ARC) ganan 6–7 puntos; las de dos y tres opciones (PIQA, Social-IQa) apenas se mueven o no se mueven; HellaSwag, con contextos largos y cuatro opciones, casi no cambia. Que las ganancias aparezcan en datos de validación no vistos hace creíble la explicación del mecanismo: así se ve «el cuello de botella era el formato, no el conocimiento» cuando es verdad.
Salud del repositorio: lo que 67.682 estrellas no dicen
| Métrica | Valor | Lectura |
|---|---|---|
| Estrellas / watchers | 67.682 / 299 | 0,44 % — la clásica proporción de marcador guardado |
| Forks | 8.858 (13,1 % de las estrellas) | alto, coherente con «quiero ejecutarlo yo» |
| Contribuidores | 27, de los cuales el mantenedor tiene 231 commits | proyecto de una persona con cola de PRs |
| Releases / tags | 2, ambos antiguos: v2 (21-10-2025), minimind-v1 (02-09-2024) | la última release es 396 días anterior a esta auditoría |
| minimind-3 (publicado el 01-04-2026 según el changelog) | sin tag ni release | no puedes fijar la versión que describe el README |
| Elementos abiertos | 88 (55 PRs, 33 issues, 50 sin comentarios) | una cola, no una conversación |
| Tests / CI | ninguno | ver abajo |
La release ausente es la que mordería a un equipo: el README describe minimind-3 y sus datasets mini, pero la última etiqueta es cinco meses anterior a ese modelo. Si necesitas «el código que produjo estos pesos», tu única referencia es un hash de commit en un master que se mueve.
Los tests existieron menos de un día
El 18 de noviembre de 2026 se fusionaron cinco pull requests del contribuidor Afloat16, cada uno emparejando un arreglo con un test de regresión: inferencia síncrona fuera del event loop del API, máscaras de padding booleanas en la ruta de atención manual, temperatura ignorada en decodificación greedy, deltas de LoRA acumulados antes del redondeo fp32 y lotes de destilación sin supervisión mantenidos finitos. Cinco archivos de test entraron en tests/.
Ese mismo día, el commit del mantenedor cc9629e se titula:
[update] fix decoding, drop tests
Son +6/−163 en siete archivos. Tres líneas cambiadas en model/model_minimind.py, tres en scripts/serve_openai_api.py y cinco archivos eliminados:
removed tests/test_api_inference_event_loop.py -41
removed tests/test_attention_bool_mask.py -29
removed tests/test_distillation_empty_supervision.py -21
removed tests/test_generation_greedy_temperature.py -34
removed tests/test_lora_merge_fp32.py -31
No hay directorio .github/, así que nunca hubo una puerta de CI detrás de esos tests. Hoy el repositorio tiene 22 archivos Python y cero tests.
No es fraude; es un mantenedor eligiendo, de forma visible y honesta, no cargar con una suite aportada como efecto secundario de cinco arreglos. Pero cambia lo que el proyecto es. Un repositorio de 67.000 estrellas que la gente usa para aprender cómo se construye un pipeline de entrenamiento es, en este commit, un código donde ninguno de los cinco comportamientos que esos tests cubrían está protegido contra regresiones, y donde el cambio más reciente al archivo central del modelo se hizo en el mismo commit que borró su cobertura.
El paso de instalación está roto, y el resolutor no puede verlo
requirements.txt fija numpy==1.26.4 y datasets==3.6.0, y no menciona pyarrow. En una máquina limpia de 2026, datasets arrastra el pyarrow más reciente, y el más reciente hoy es 26.0.1.
Ejecuté el resolutor en lugar de creerme el issue tracker:
pip install --dry-run --python-version 3.12 --only-binary=:all: "numpy==1.26.4" "datasets==3.6.0"
# → Would install … numpy-1.26.4 … pandas-2.3.3 … pyarrow-26.0.1 …
Ningún error. El conflicto es invisible para pip por una razón concreta: los metadatos publicados de pyarrow 26.0.1 no declaran ningún requisito de numpy (comprobado contra la API JSON de PyPI: requires_dist no tiene entrada de numpy), mientras la incompatibilidad se aplica en tiempo de importación. Así que la resolución tiene éxito y import datasets falla después con pyarrow requires NumPy 2.0 or newer, found 1.26.4.
Tres personas distintas dieron con esto en dos horas y media el 20 de noviembre de 2026 —issues #947 (07:12 UTC), #948 (08:33) y #949 (09:33)— todas proponiendo el mismo pin de una línea. A fecha de esta auditoría, las tres siguen abiertas y sin comentarios.
El coste de eso no es estético. El gancho es «dos horas para reproducir»; el paso uno es una instalación de dependencias que falla en un entorno limpio, y el arreglo está sin fusionar en la cola, junto a otros 54 PRs abiertos.
«Todos los algoritmos centrales implementados en PyTorch nativo, sin abstracciones de alto nivel»
Esta línea de la introducción es mitad exacta y mitad matizable.
Exacta: los algoritmos de entrenamiento están genuinamente escritos a mano. DPO, PPO, GRPO, CISPO, el motor de rollout, la destilación: los trainers son bucles de PyTorch con aritmética de pérdida explícita, schedules de get_lr y clipping de gradiente. Para un repositorio didáctico eso es la parte que importa, y es real.
Matizable: 11 de los 22 archivos Python importan de transformers, y el archivo central del modelo está construido sobre ellos:
from transformers.activations import ACT2FN
from transformers import PreTrainedModel, GenerationMixin, PretrainedConfig
from transformers.modeling_outputs import MoeCausalLMOutputWithPast
MiniMindForCausalLM hereda de PreTrainedModel y mezcla GenerationMixin, así que generate(), la fontanería del KV-cache, la carga con from_pretrained y la serialización de la configuración vienen de la biblioteca que la introducción dice evitar. El tokenizador es un tokenizer.json en formato tokenizers. Es una decisión de ingeniería razonable —nadie quiere reimplementar generate() para enseñar atención—, pero significa que la frase «no depende de abstracciones de alto nivel de bibliotecas de terceros» debe leerse como «los algoritmos», no como «el modelo».
Lo que sí resiste, en detalle
Por justicia, las partes que intenté romper y no pude:
- La arquitectura es correcta para un modelo estilo Qwen3. GQA con 8 cabezas de consulta y 4 de KV, RMSNorm por cabeza en q y k, RoPE con θ=1e6 y YaRN opcional (factor 16, ventana original 2.048), embeddings atados, SwiGLU a 2.432. La ruta de atención manual solo se usa cuando SDPA no puede; la máscara causal se añade con
triu(1)y no contriu(0), que es lo correcto. - El router MoE tiene las dos piezas que la gente olvida. Pérdida auxiliar a 5e-4 con término de balanceo de carga y, para enrutamiento top-1, un peso straight-through (
top1 - top1.detach() + 1.0) para que el router reciba gradiente aunque el valor de la compuerta sea exactamente 1,0. El bloque MoE también incluye el trucoy[0,0] += 0 * sum(params)para mantener los expertos sin usar en el grafo de autograd. - El checkpointing es de verdad. El estado reanudable incluye optimizador y scaler, y
SkipBatchSamplerajusta el conteo de pasos al reanudar con distinto número de GPUs. - La ruta de servicio está más completa de lo que el gancho exige. API compatible con OpenAI, con
reasoning_content,tool_callsy un interruptoropen_thinking; 52.762 filas de datos de evaluación habría sido más fácil falsificarlas que construirlas. - El hábito de divulgar. La tabla de errores estándar, la frase «only for fun», el párrafo del modelo exam que admite que los datos de ajuste vienen de subconjuntos de test y la confesión de que los pesos
agentempeoran en preguntas factuales («more willing to fabricate on open-ended Q&A») son cosas que casi todos los proyectos esconden. Cada crítica de arriba existe en un documento que te dijo dónde mirar.
Cómo calcular el coste tú mismo en cinco comandos
Si estás a punto de alquilar una 3090 para esto, haz lo siguiente en lugar de creerte una tabla, incluida la mía:
- Cuenta parámetros desde la configuración, no desde la insignia.
per_block = 768*768 + 2*(768*384) + 768*768 + 2*96 + 3*(768*ceil(768*pi/64)*64) + 2*768 total = 8*per_block + 6400*768 + 768 - Mide bytes/token en tu propio archivo. Dos líneas con el tokenizador del proyecto sobre una muestra de 10 MB superan cualquier regla de caracteres por token:
tok = Tokenizer.from_file("model/tokenizer.json") ids = tok.encode(open("head.jsonl", encoding="utf-8").read(), add_special_tokens=False).ids tokens_est = file_bytes / (sample_bytes / len(ids)) - Convierte a FLOPs y a una cifra de utilización.
6 * params * tokens / segundos, dividido por 71 TFLOPS (una 3090 en bf16). Por debajo del 40 % la estimación es optimista; por encima del 65 % alguien está midiendo otra cosa. - Decide
max_seq_lena conciencia. El valor por defecto del script (340) y la recomendación del dataset (768) difieren en 2,26 veces el cómputo. Elige el que elijas, anótalo junto a tu estimación de coste. - Audita cualquier set de ajuste con huellas a nivel de opción. Los enunciados colisionan entre asignaturas; enunciado + opciones no. Si te saltas este paso, o te perderás contaminación real o inventarás contaminación falsa: esta auditoría hizo lo segundo primero y tuvo que descartarlo.
Preguntas frecuentes
¿Es falsa la afirmación de las «dos horas»? No: está infradeterminada de cuatro maneras mutuamente inconsistentes. Una época de pretrain más una de SFT sobre los datasets mini son 2,31 horas con la utilización implícita, que de verdad se acerca a dos horas. Los scripts incluidos corren dos épocas por defecto (4,62 horas), y la afirmación de la nota al pie de que dos horas es «1 época de SFT» contradice la cifra de 1,10 horas del propio proyecto para esa etapa.
¿Puedo entrenar de verdad un modelo de 64M desde cero en una 3090 en una tarde?
Sí, y ese es el logro que merece reconocimiento. Con los valores por defecto el pipeline mini son unas 4,6 horas de GPU más una descarga de ~3 GB. Añade antes el pin de dependencias del issue #947, o te pasarás la primera hora con un ImportError.
¿Están contaminados los benchmarks publicados?
No los que se evalúan. El archivo de ajuste contiene cero de los 1.346 ítems de validación de CEval y cero ítems de ARC-Easy u OpenBookQA, emparejando enunciado más opciones. Sí contiene el 99,25 % del split de test de CEval y el 97,20 % del test de MMLU, así que los pesos -exam no deben puntuarse nunca en esos splits.
¿Por qué OpenBookQA está por debajo del azar? 500 preguntas, cuatro opciones y un modelo con 5,6 tokens por parámetro. El error estándar es de ±1,9 puntos; 23,60 frente a 25,00 es ruido, y el README lo dice en su propia tabla de resolución.
¿Necesito los pesos -exam?
Solo si tu evaluación usa splits de validación no vistos tipo ceval-valid. Si tu harness usa ceval (test) por defecto, los pesos -exam son inutilizables y los pesos base son la comparación honesta.
¿Es un buen proyecto para aprender a entrenar LLMs? Para el pipeline, sí: 4.695 líneas, DPO/PPO/GRPO escritos a mano, DDP y reanudación funcionando, y un README que documenta sus propias barras de error. Para producción, no: sin tests, sin CI, sin release fijada para el modelo actual y un paso de instalación que hoy falla en un entorno limpio.
Conclusión
MiniMind no es un proyecto que haya inflado su modelo para parecer más grande. 63.912.192 parámetros es exactamente lo que dice la configuración, la notación «198M-A64M» de la variante MoE es técnicamente correcta, y el presupuesto de cómputo, convertido a FLOPs, implica una utilización que una 3090 real puede alcanzar. Es un resultado más sólido que el de la mayoría de auditorías de un repositorio con 67.000 estrellas.
Lo que falla es la capa contable alrededor. «Dos horas» son cuatro mediciones diferentes; la regla de caracteres por token se equivoca un 74 % en el estilo de texto con el que el proyecto se demuestra; la longitud de contexto recomendada y el valor por defecto del script difieren en un factor de 2,26 de cómputo; la última release es anterior al modelo que documenta el README; los tests que tuvo durante un día ya no están; tres arreglos separados para una instalación rota siguen sin fusionar; y el corpus de ajuste «ligero y muestreado» es, verificado ítem por ítem, el 99,25 % del split de test de CEval y el 97,20 % del test de MMLU, mientras excluye correctamente, hasta el último ítem, el split de validación sobre el que realmente se puntúa.
El último punto es el más instructivo. La afirmación de no contaminación del proyecto es verdadera, y hizo falta un emparejamiento a nivel de opción sobre 26.384 ítems para establecerlo, porque la comprobación ingenua encuentra 23 falsos positivos y la respuesta real es cero. Cada número de este artículo salió de archivos que cualquiera puede descargar y correr los mismos scripts. La distancia entre el titular de un proyecto y su sistema de archivos normalmente no es una mentira: es la distancia acumulada entre lo que se midió, lo que se estimó y lo que se recordaba cuando se escribió la frase.
Medido el 21 de noviembre de 2026 (UTC): repositorio en el commit cc9629e (18-11-2026); API de GitHub para estrellas, watchers, contribuidores, releases e issues; jingyaogong/minimind_dataset para pretrain_t2t_mini.jsonl, sft_t2t_mini.jsonl y lora_exam.jsonl; ceval/ceval-exam (splits val y test) y cais/mmlu (test) para la comparación de contaminación; conteo de tokens sobre muestras de 12 MiB codificadas con el model/tokenizer.json del propio repositorio. Los totales de tokens y todas las cifras de FLOPs y utilización son extrapolaciones y se etiquetan como tales. Relacionado: TinyZero y la economía de reproducir un modelo de razonamiento en una GPU.