Neurona

Categoría: arquitectura fundamentos modelos

Definición

Unidad matemática elemental de una red neuronal artificial. En la práctica de ingeniería de IA, no es un objeto biológico ni un procesador independiente, sino una operación aritmética () que recibe un vector de entradas, las multiplica por sus pesos (weights), suma un sesgo (bias) y pasa el resultado por una función de activación no lineal.

Puntos clave

  • Anatomía matemática real (lo que ocurre en la GPU):
    • Entradas (): Valores numéricos provenientes de los datos iniciales o de la capa anterior.
    • Pesos (): Parámetros aprendibles que determinan la importancia de cada entrada. Estos números son exactamente lo que se guarda en los archivos safetensors y lo que comprimes al cuantizar a EXL3 o GGUF.
    • Sesgo (): Constante aprendible que desplaza el umbral de activación (nota: muchos LLM modernos estilo Llama eliminan el bias en sus capas lineales para simplificar y acelerar el cómputo).
    • Función de activación (): Introduce no linealidad (ReLU, GELU, SiLU/SwiGLU). Sin ella, apilar cientos de capas equivaldría matemáticamente a una sola multiplicación lineal y la red no podría aprender patrones complejos.
  • De neuronas individuales a multiplicación de matrices (GEMM): En hardware moderno (NVIDIA Tensor Cores / CUDA), las neuronas de una capa no se calculan una por una en bucles, sino agrupadas como filas/columnas dentro de una matriz de pesos , ejecutando multiplicaciones masivas de matrices () en paralelo.
  • Dónde viven en un Transformers moderno: Principalmente dentro de los bloques MLP / Feed-Forward (gate_proj, up_proj, down_proj). Investigaciones en interpretabilidad mecanicista demuestran que neuronas o grupos específicos de estas capas actúan como memorias asociativas clave-valor que almacenan hechos concretos, sintaxis o conceptos específicos.
  • Conceptos relacionados en entrenamiento (LoRA / PyTorch):
    • Neuronas muertas (Dying ReLU): Neuronas cuyos pesos caen en valores tales que su activación siempre devuelve 0 y su gradiente se vuelve nulo, dejando de aprender. Funciones modernas como GELU o SiLU evitan este problema.
    • Dropout: Técnica de regularización que “apaga” (pone a cero) un porcentaje aleatorio de neuronas durante el entrenamiento para evitar que la red memorice datos (overfitting).