Neurona (en LLM)

En un modelo de lenguaje, una neurona es una unidad computacional dentro de una red neuronal artificial: recibe activaciones numéricas, aplica una transformación aprendida y contribuye a la siguiente capa del modelo. No equivale a una neurona biológica. Es una pieza matemática, no una célula.

La interpretabilidad-mecanica empezó mirando neuronas individuales porque son el nivel visible más simple de una red. Algunas neuronas parecen responder a patrones reconocibles: sintaxis, idiomas, entidades, tonos, fragmentos de código. Pero el análisis neurona por neurona pronto encuentra un límite: una sola neurona suele activarse para muchas características distintas, y una característica suele distribuirse entre muchas neuronas.

Ese desajuste es el problema de la superposicion. Los LLM usan sus neuronas como dimensiones de un espacio vectorial comprimido: no guardan un concepto por neurona, sino muchas regularidades parcialmente solapadas. Por eso la neurona es un buen punto de entrada pedagógico, pero no la unidad final de significado.

Dónde aparece en Nuevas Ciencias

• ¿Qué dicen las máquinas?: primer nivel de la tríada de Olah, antes de características y circuitos.

Conceptos vecinos

• interpretabilidad-mecanica
• caracteristica-feature
• circuito-llm
• superposicion
• chris-olah

Fuentes

• Wikipedia EN: Artificial neuron (Categoría 1).
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press (Categoría 2). https://www.deeplearningbook.org/
• Olah, C., Cammarata, N., Schubert, L., et al. (2020). Zoom In: An Introduction to Circuits. Distill (Categoría 2). https://distill.pub/2020/circuits/zoom-in/