当前位置: 首页 > 国际 > 正文

【简便理解】LoRA训练是在干什么?

2023-04-23 08:07:29 来源:哔哩哔哩

本专栏的意义就是用大白话,让8岁小朋友也能听懂的方式去理解秋葉akkki讲解的一些东西。

肯定是不准确的,不要尽信。但只是简单理解,还是没什么问题的。

1,什么是LoRA?简单翻译Low-Rank Adaptation就是低偏移率适应器。


(相关资料图)

2,低偏移适应器是什么意思?【简单理解】就是导游团的那个导游。让AI游客(大模型),尽量朝着景点去走。

3,欠拟合与过拟合是什么意思?【简单理解】欠拟合就是饭没做熟,过拟合就是菜做糊冒烟了。

4,VAE是什么意思?【简单理解】就是侦探解密卡,让AI能够读懂一堆乱码。不同的卡片看见的东西不一样。玩过的都懂,因为你会有好几张解密卡。

5,正则化什么意思?【简单理解】“你看着啊,我给你打个样!”,“我给你举个例子,看好了啊!”就是正则化。

6,做梦的情况下,我们训练LoRA期待的结果。越学越深,越学越精,越学越准。到达最小变化,最大精准点。

7,常在教材里看见的。【简单理解】掉沟里,卡山腰,跑山顶。都是常常出现的情况,即使训练参数相同,在学习的最后,得到的结果也未必一样。

8,实际上我们面临的问题。如同纵身跳入大峡谷做降落伞运动,你是落在谷底,还是挂在半山腰,还是卡在小山头,都是随机的,即使跳下去的点一模一样,降落伞落地的时候,也不一定会落在一个地点。

所以,训练LoRA,只能尽量让它到达谷底,但是不是真的能够到达谷底,还需要更多的理论和实验方法进行更进和改善。

标签:

下一篇:最后一页
上一篇:每日热讯!今日后来者居上后来是什么意思_后来者居上什么意思