【简便理解】LoRA训练是在干什么?
2023-04-23 08:07:29 来源:哔哩哔哩
本专栏的意义就是用大白话,让8岁小朋友也能听懂的方式去理解秋葉akkki讲解的一些东西。
肯定是不准确的,不要尽信。但只是简单理解,还是没什么问题的。
1,什么是LoRA?简单翻译Low-Rank Adaptation就是低偏移率适应器。
(相关资料图)
2,低偏移适应器是什么意思?【简单理解】就是导游团的那个导游。让AI游客(大模型),尽量朝着景点去走。
3,欠拟合与过拟合是什么意思?【简单理解】欠拟合就是饭没做熟,过拟合就是菜做糊冒烟了。
4,VAE是什么意思?【简单理解】就是侦探解密卡,让AI能够读懂一堆乱码。不同的卡片看见的东西不一样。玩过的都懂,因为你会有好几张解密卡。
5,正则化什么意思?【简单理解】“你看着啊,我给你打个样!”,“我给你举个例子,看好了啊!”就是正则化。
6,做梦的情况下,我们训练LoRA期待的结果。越学越深,越学越精,越学越准。到达最小变化,最大精准点。
7,常在教材里看见的。【简单理解】掉沟里,卡山腰,跑山顶。都是常常出现的情况,即使训练参数相同,在学习的最后,得到的结果也未必一样。
8,实际上我们面临的问题。如同纵身跳入大峡谷做降落伞运动,你是落在谷底,还是挂在半山腰,还是卡在小山头,都是随机的,即使跳下去的点一模一样,降落伞落地的时候,也不一定会落在一个地点。
所以,训练LoRA,只能尽量让它到达谷底,但是不是真的能够到达谷底,还需要更多的理论和实验方法进行更进和改善。
标签: