Red Neuronal
Categoría: arquitectura fundamentos modelos
Definición
Modelo computacional compuesto por múltiples capas interconectadas de neuronas artificiales organizadas secuencialmente o en grafos dirigidos. Aprende a aproximar funciones matemáticas complejas ajustando iterativamente millones o miles de millones de pesos () a partir de datos, sin reglas programadas explícitamente.
Puntos clave
- Anatomía estructural (Capas y Tensores):
- Capa de entrada (Input Layer): Recibe los datos convertidos a números (en un LLM, son los vectores de embeddings correspondientes a cada token).
- Capas ocultas (Hidden Layers): Bloques intermedios donde ocurre la extracción jerárquica de patrones. Cuando una red tiene decenas de capas apiladas (ej. 32, 64 u 80 bloques de Transformers), hablamos de Aprendizaje Profundo (Deep Learning).
- Capa de salida (Output Layer): Proyecta el resultado final al espacio deseado (en un LLM es la cabeza
lm_head, que genera un vector de probabilidades sobre todo el vocabulario para elegir el siguiente token).
- Los dos flujos de ejecución en PyTorch / CUDA:
- Paso hacia adelante (Forward Pass): Los datos atraviesan las capas de entrada a salida multiplicándose por las matrices de pesos para generar una predicción. Es lo único que ocurre durante la inferencia local (ExLlamaV3, vLLM,
llama.cpp). - Paso hacia atrás (Backward Pass / Backpropagation): Durante el entrenamiento o ajuste fino (LoRA/QLoRA), se calcula el error mediante una función de pérdida (Loss Function), se propagan los gradientes en sentido inverso usando la regla de la cadena y un optimizador (
AdamW,SGD) actualiza los pesos. Exige almacenar activaciones y gradientes, multiplicando por 3x–4x el consumo de VRAM respecto a la inferencia.
- Paso hacia adelante (Forward Pass): Los datos atraviesan las capas de entrada a salida multiplicándose por las matrices de pesos para generar una predicción. Es lo único que ocurre durante la inferencia local (ExLlamaV3, vLLM,
- Principales familias según el tipo de datos:
- MLP (Multilayer Perceptron): Capas totalmente conectadas (Dense/Linear); forman los bloques Feed-Forward internos de los Transformers.
- CNN (Convolutional Neural Networks): Especializadas en visión por computadora y procesamiento espacial mediante filtros locales.
- Transformers: Dominan texto, código, audio y multimodalidad gracias al mecanismo de autoatención (Self-Attention).
- En la práctica de IA local (un archivo en disco): Una red neuronal entrenada no es un programa ejecutable, sino un grafo de operaciones (definido en código Python/C++) más un conjunto de archivos de pesos (
safetensors, GGUF, EXL3) que se cargan en la VRAM para realizar multiplicaciones de matrices en los Tensor Cores.