TinyLLM训练到50000次+的时候出现，loss为nan

[qingyanbaby]

使用的是直接clone的代码，没有做任何修改，运行环境是python3.9，设备是2080ti。试过两次了，每次都是都是训练过半后，日志开始出现loss为nan。请问这个怎么解决？

step 100000: train loss nan, val loss nan
100000 | loss nan | lr 0.000000e+00 | 2006.12ms | mfu 1.68%

[Hongru0306]

可能是环境，torch版本，精度，或者是设备Flops的原因，可以先尝试调小lr试一试。