GPU与性能优化
主页 >> 深度学习算子 | 大模型预训练 | 实用工具 | GPU优化
Nvidia GPU文档
| 网址 | 内容 | 备注 |
|---|---|---|
| https://developer.nvidia.com/cuda-toolkit-archive | nvidia gpu toolkit各版本链接和文档 | |
| NVIDIA Multi-Instance GPU User Guide | MIG用户指南 | MIG使用小结 |
Tile编程
| 方法 | 来源 | 说明 |
|---|---|---|
| CUTEDSL | cutlass的python适配接口 | |
| cutile | cutile是cuda原生基于python的tile编程接口,主要面向tensorcore的tile编程自定义使用 | |
| tile-lang | ||
| triton |
MIG使用小结
nvidia-smi -i <GPU IDs> -mig 1 # 打开mig功能
nvidia-smi -i <GPU IDs> mig -lgip # 列出可用配置
nvidia-smi -i <GPU IDs> mig -lgipp # 列出配置序号
nvidia-smi -i <GPU IDs> mig -cgi 14,19,19 # 设置配置为9,9
nvidia-smi -i <GPU IDs> mig -lgi # 列出已配置
nvidia-smi -i <GPU IDs> -L # 查看gpu mig id
nvidia-smi -i <GPU IDs> mig -dci # 关闭实例
nvidia-smi mig -dgi # 销毁实例
nvidia-smi -i <GPU IDs> -mig 0 # 关闭mig功能
注:资源剩余就可新增配置;容器需要重启才能看到新配置