大小没有什么变化,但这2个T的资料它却已经完全掌握了。
但既然是模仿人类神经形成的人工智能模型,其实也存在了人类智能的某些问题。
比如说“遗忘”的问题,就是明明学了,过一阵时间之后却发现AI把学过的东西忘了。
AI过度训练后,可能会出现对新数据“想当然”的现象。
就像人类面对新生事物时,明明什么都不明白,却用过往经验进行解释,这在AI领域中叫“过度拟合”。
一堂课老师讲了半本书,前三页你还能听明白,到后面就是听天书,对于AI来说,就是“信息过载。”
人类接触到的信息是片面的情况下,就会导致认知偏差,AI的数据如果集中存在某一种意识形态的内容,同样会导致认知偏差。
林林总总。
更有甚者,原本是个好模型,别人训练都没事,你来训练,要么无法收敛得到结果(可以理解为学不会),要么灾难性遗忘,要么梯度爆炸或消失。
在架构和参数没有太大改动的情况下,能不能训练出可用的大模型,甚至是一门玄学。
AI的训练与调优充满了复杂性和不可预测性。
内容未完,下一页继续阅读