LoRA 相关话题

大模子调优（finetuning）不单是是参数的优化，通常会受到非功能性贬抑的挑战，举例： 计较着力贬抑：教师经由应该快速而低价。 内存计较高效：不应该需要多半的GPU来微调LLM。 易于部署：不应该为每个要管制的任务部署LLM的多个副本。 在一定进程上，LaRA（Low-Rank Adaptation）不错较好大地对这些挑战。使用LoRA，不错裁汰微调专用LLM的门槛，同期罢了与端到端微调非常的性能，约略在模子的特定版块之间轻易切换，而且不会增多推理延长。鉴于其实用性，LoRA的盘考也导致了