预训练在24G内存GPU上爆内存，已调整参数

[bekars]

24G显存4090，运行预训练脚本./run_pt.sh，报OutOfMemoryError，已按说明去掉--modules_to_save和--gradient_checkpointing参数，block_size最小调整到4仍然报相同的错误，GPU内存也没有被其他程序占用。

修改--modules_to_save和--gradient_checkpointing参数后LLaMa1可以正常完成预训练，但是LLaMa2（本项目）预训练会报错。

完整错误日志如下：

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB 
(GPU 0; 23.65 GiB total capacity; 22.69 GiB already allocated; 129.19 MiB free; 22.87 GiB reserved in total by PyTorch) 
If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

请问如何能让24G内存GPU跑起LLaMa2的预训练？谢谢回复。

[airaria]

按以上修改LLaMa可以正常完成预训练。

所以能跑起来？

[bekars]

LLaMa可以跑起来，但是LLaMa2报缺少显存错误