标签: AI | DaoXuan

MOSS：高效、精确的 FP8 LLM 训练，采用微尺度和自动尺度变换

MOSS：高效、精确的 FP8 LLM 训练，采用微尺度和自动尺度变换

AI 深度学习 FP8 量化

GEMM（矩阵乘）

GEMM（矩阵乘）

AI 深度学习性能优化

将 FP8 训练扩展到万亿代币的 LLMs

将 FP8 训练扩展到万亿代币的 LLMs

AI 深度学习 FP8 量化

从 Sigmoid 到 SwiGLU：理解 Transformer 中的激活函数

从 Sigmoid 到 SwiGLU：理解 Transformer 中的激活函数

AI 深度学习 Transformer

Dropout（随机失活）

Dropout（随机失活）

AI 深度学习正则化

COAT：压缩优化器状态和激活以实现内存高效的 FP8 训练

COAT：压缩优化器状态和激活以实现内存高效的 FP8 训练

AI 深度学习 FP8 量化

Transformer 的几何角度梳理

Transformer 的几何角度梳理

AI 深度学习 Transformer

浮点数：IEEE 754 的表示与精度

浮点数：IEEE 754 的表示与精度

AI 深度学习计算机基础

在 AdamW 优化器中 β 和“记忆力”的关系

在 AdamW 优化器中 β 和“记忆力”的关系

AI 深度学习优化器

相对精度与绝对精度：为什么同一个数字，换个地方就“消失”了

相对精度与绝对精度：为什么同一个数字，换个地方就“消失”了

AI 深度学习数值计算