YangZiye’ Blog
厚积薄发,行稳致远
首页
归档
文章分类
文章标签
历史归档
关于
首页
归档
文章分类
文章标签
历史归档
关于
标签:
深度学习 (18)
工具 (6)
开发 (4)
AIGC (4)
SD (3)
文字 (2)
LLM (2)
Python (2)
图像处理 (1)
晶圆 (1)
半导体 (1)
Lora (1)
🗒️
Lora 微调时的显存占用
转载
|
2024-09-23
深度学习
LLM
Lora
LoRA速度可能不会快很多,但是显存开销会非常显著的降低。因为参数冻结❄了,所以梯度,动量这些显存开销大头都不会存储,只有LoRA🔥的极少量参数需要保存这些信息来更新梯度。
Article Details
1
0%