实用工具

主页 >> 深度学习算子 | 大模型预训练 | 实用工具 | GPU优化

学术专业

名称 说明
https://arxiv.org/ 论文预印平台
https://papers.cool/ 论文使用kimi进行总结
deepwiki 使用大模型整理github上repo的框架结构
jyy's wiki jyy的操作系统课
Software Heritage archive repo备份网站

日常使用

名称 说明
鸠摩搜书 搜索PDF书籍

系统工具

工具 作用 示例
ar 将多个.o的库合成一个.a ar rcs libclass.a class1.o class2.o class3.o(打包.o)/ar -t libxxx.a(查看.a函数列表)
ld 将.o和.a链接在一起 ld main.o -lclass
nm 查看.a和.o里的函数表 nm xx.a(查看静态库)/nm -D xx.so(查看动态库)
ldd 查看动态库/bin的动态依赖 ldd ./xx.so

docker

yum install docker-ce nvidia-docker2
systemctl enable --now docker
cat /etc/docker/daemon.json
sudo usermod -aG docker $USER # 添加当前用户
newgrp docker #刷新组群
groups $USER #验证group
docker ps #验证docker
cat /proc/self/cgroup # docker内查看当前实例id

参考自Linux系统非root用户使用docker命令

依赖问题

报错 类别 解决方案
fatal error: snappy-c.h: No such file or directory C++ apt-get install libsnappy-dev; yum install csnappy-devel
Rsshub知乎抓取错误 Rsshub 添加cookieZHIHU_COOKIES: "z_c0=xxx; d_c0=yyy; __zse_ck=zzz"
Unable to find address for: bond0 nccl NCCL_SOCKET_IFNAME=eth0
Python subprocess/Popen with a modified environment Python import subprocess, os;my_env = os.environ.copy();my_env["PATH"] = f"/usr/sbin:/sbin:{my_env['PATH']}";subprocess.Popen(my_command, env=my_env)
Install python 3.11.9 on ubuntu python add-apt-repository ppa:deadsnakes/ppa && apt update && apt install python3.11
Torch.onnx.export of module used positional and keyword arguments torch/onnx torch.onnx.export(module,args=(torch.tensor(True).to(device=cuda0), {'input': x}), f='sample.onnx', input_names=['input'], output_names=['output'], export_params=True)

实用工具

使用cloudflared tunnel生成临时访问链接
brew install cloudflared # mac
cloudflared tunnel --url http://localhost:1234