Red Neuronal

Categoría: arquitectura fundamentos modelos

Definición

Modelo computacional compuesto por múltiples capas interconectadas de neuronas artificiales organizadas secuencialmente o en grafos dirigidos. Aprende a aproximar funciones matemáticas complejas ajustando iterativamente millones o miles de millones de pesos () a partir de datos, sin reglas programadas explícitamente.

Puntos clave

  • Anatomía estructural (Capas y Tensores):
    • Capa de entrada (Input Layer): Recibe los datos convertidos a números (en un LLM, son los vectores de embeddings correspondientes a cada token).
    • Capas ocultas (Hidden Layers): Bloques intermedios donde ocurre la extracción jerárquica de patrones. Cuando una red tiene decenas de capas apiladas (ej. 32, 64 u 80 bloques de Transformers), hablamos de Aprendizaje Profundo (Deep Learning).
    • Capa de salida (Output Layer): Proyecta el resultado final al espacio deseado (en un LLM es la cabeza lm_head, que genera un vector de probabilidades sobre todo el vocabulario para elegir el siguiente token).
  • Los dos flujos de ejecución en PyTorch / CUDA:
    • Paso hacia adelante (Forward Pass): Los datos atraviesan las capas de entrada a salida multiplicándose por las matrices de pesos para generar una predicción. Es lo único que ocurre durante la inferencia local (ExLlamaV3, vLLM, llama.cpp).
    • Paso hacia atrás (Backward Pass / Backpropagation): Durante el entrenamiento o ajuste fino (LoRA/QLoRA), se calcula el error mediante una función de pérdida (Loss Function), se propagan los gradientes en sentido inverso usando la regla de la cadena y un optimizador (AdamW, SGD) actualiza los pesos. Exige almacenar activaciones y gradientes, multiplicando por 3x–4x el consumo de VRAM respecto a la inferencia.
  • Principales familias según el tipo de datos:
    • MLP (Multilayer Perceptron): Capas totalmente conectadas (Dense/Linear); forman los bloques Feed-Forward internos de los Transformers.
    • CNN (Convolutional Neural Networks): Especializadas en visión por computadora y procesamiento espacial mediante filtros locales.
    • Transformers: Dominan texto, código, audio y multimodalidad gracias al mecanismo de autoatención (Self-Attention).
  • En la práctica de IA local (un archivo en disco): Una red neuronal entrenada no es un programa ejecutable, sino un grafo de operaciones (definido en código Python/C++) más un conjunto de archivos de pesos (safetensors, GGUF, EXL3) que se cargan en la VRAM para realizar multiplicaciones de matrices en los Tensor Cores.