BELLE: Modelo de Lenguaje Chino de Código Abierto por Lianjia

BELLE (Be Everyone’s Large Language model Engine) fue creado para cerrar la brecha entre los modelos de lenguaje grandes centrados en inglés y las alternativas en chino.

Repositorio: github.com/LianjiaTech/BELLE

Diferenciadores

Diferenciador	BELLE	Otros LLMs Chinos
Modelo Base	BLOOM + LLaMA	Principalmente LLaMA o ChatGLM
Datos de Entrenamiento	Estilo Alpaca, traducidos	Varía ampliamente
Enfoque de Investigación	Evaluación de seguimiento de instrucciones	A menudo pre-entrenamiento
Transparencia	Modelos y datos completos	A menudo solo parcial

Arquitectura

graph TD
    subgraph "Familia de Modelos BELLE"
        A[BLOOMZ-7B1-MT] --> B[BELLE-7B]
        A2[LLaMA-7B] --> C[BELLE-LLaMA-7B]
        A3[LLaMA-13B] --> D[BELLE-LLaMA-13B]
        B --> E[BELLE-7B-2M]
        B --> F[BELLE-7B-0.5M]
        C --> G[BELLE-LLaMA-7B-2M]
    end

Variantes

Variante	Arquitectura Base	Parámetros	Datos de Entrenamiento
BELLE-7B	BLOOMZ-7B1-MT	7B	2M instrucciones
BELLE-LLaMA-7B	LLaMA-7B	7B	2M instrucciones
BELLE-LLaMA-13B	LLaMA-13B	13B	2M instrucciones
BELLE-7B-0.5M	BLOOMZ-7B1-MT	7B	0.5M instrucciones

Rendimiento

Tarea	BELLE-7B (2M)	BELLE-LLaMA-7B (2M)	Línea Base
Traducción (BLEU)	28.4	27.1	22.3
Resumen (ROUGE-L)	32.7	31.5	26.8
Preguntas y Respuestas (F1)	64.2	62.8	56.1

Despliegue

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "BelleGroup/BELLE-7B-2M"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

inputs = tokenizer("¿Qué es el aprendizaje profundo?", return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0]))

FAQ

Qué es BELLE? Proyecto de LLM chino de código abierto ajustado en BLOOM y LLaMA con 2M muestras de instrucción.

Variantes? BELLE-7B (BLOOMZ), BELLE-LLaMA-7B, BELLE-LLaMA-13B.

Dataset? 2M pares instrucción-respuesta en chino (train_2M_CN).

Limitaciones? Puede producir información plausible pero incorrecta.

Licencia? Solo para investigación.