在使用docker容器时，在docker run时，如果使用的是--gpus all，这样在进入容器之后，会使用全部的GPU，如下图所示。但是在微调大模型，或者是调用库做训练、推理时，具体代码中可能未指定具体的GPU，这样则会默认使用第一块GPU，也就是0号卡，此时0号卡的显存占用已经接近上限，再有模型加载进显存便会报出OOM的错误。
在docker run之前可以先nvidia-smi看下卡的资源占用情况，在docker run时指定特定的GPU，比如--gpus "device=2" ，这样进入容器之后，就只能看到2号卡。这样可以避免在代码中使用.cuda默认使用第一块卡的情况。
如果在docker run 时，已经指定了--gpus all，那在容器中可以，可以设置 CUDA_VISIBLE_DEVICES 环境变量，使容器内的程序只看到指定的 GPU 卡。
export CUDA_VISIBLE_DEVICES=2其他问题记录
docker中的占位
FROM qwenllm/qwen:cu121
# 其他构建步骤
# 设置ENTRYPOINT为一个占位符命令
#ENTRYPOINT bash
# CMD 设置为一个空命令，这样可以在容器启动时不执行任何操作
CMD ["/bin/sh", "-c", "tail -f /dev/null"]