看 EgoForesight,我还是那个判断:具身预训练的数据,不必每条都按精细控制的标准来做。
先把可用规模和场景覆盖做起来,同时处理好不同来源的噪声。
行业过去强调高精度数据参与预训练有很多原因,其中一个原因是大家不敢放手进行大规模预训练,这里面涉及到的成本太过于高昂,大家不敢冒险。那怎么办,只能少量高精度数据过拟合一个效果出来,其实大部分还是过家家。
然后大模型就来了。大语言模型正在演变成全模态模型,他们进入具身赛道可不跟你玩虚的,正儿八经开始大规模训练了。形势变了。
做模型和数据,应该算清楚:同一笔钱,花在精度再提高一点,还是多覆盖一批场景,对模型更有用?
预训练场景不用多说,过分强调精度,还不如过分强调规模。
@aigc1024