Desarrollo de un acelerador de función softmax con soporte para datos de punto fijo y punto flotante de precisión arbitraria para la ejecución de redes neuronales

Abstract

La función softmax es ampliamente utilizada como etapa final de clasificación en redes neuronales, donde transforma valores arbitrarios en distribuciones de probabilidad. Sin embargo, su implementación eficiente en hardware resulta desafiante debido al elevado costo computacional de operaciones como exponenciales, sumatorias acumulativas y divisiones. En este trabajo se evalúan diversas técnicas de computación aproximada para acelerar la función softmax empleando High-Level Synthesis (HLS), considerando aproximaciones mediante Series de Taylor e interpolación lineal basada en tablas de búsqueda (LUTs). El diseño soporta aritmética en punto fijo y punto flotante de precisión arbitraria, permitiendo explorar el compromiso entre precisión numérica, latencia y utilización de recursos. Los resultados muestran que, para anchos de palabra reducidos, las aproximaciones basadas en punto flotante mantienen la estabilidad numérica necesaria para su integración en redes neuronales, obteniendo errores inferiores al 1 % con polinomios de Taylor de tercer orden. Por otro lado, las aproximaciones en punto fijo presentan limitaciones asociadas al rango dinámico, lo que afecta la correcta normalización de los valores de salida. En términos de rendimiento y eficiencia, las aproximaciones de Taylor de primer y segundo orden proporcionan un balance favorable entre reducción de recursos, baja latencia y precisión aceptable, mientras que las LUTs permiten una mejora moderada cuando se incrementa el número de muestras.

The softmax function is widely used in the output layers of neural networks to convert raw activation values into normalized probability distributions. Despite its conceptual simplicity, implementing softmax efficiently in hardware is challenging due to the computational cost of exponential and division operations. This work evaluates approximate computing strategies for softmax acceleration using High-Level Synthesis (HLS), focusing on Taylor series expansions and lookup table (LUT) based linear interpolation. The proposed architecture supports both fixed-point and arbitrary-precision floating-point arithmetic, enabling a detailed exploration of the trade-offs among accuracy, latency, and hardware resource utilization. Experimental results show that, for reduced bit-width configurations, floating-point ap proximations preserve the numerical stability required for neural network inference, achieving errors below 1 % with third-order Taylor polynomials. In contrast, fixed-point implementations exhibit noticeable degradation due to limited dynamic range, which restricts the accurate representation of small probability values. From a performance perspective, first- and second-order Taylor approximations offer a favorable balance between resource reduction, numerical accuracy, and execution time, while LUT-based methods provide additional improvements when increasing the sampling resolution.