做数据公司,绕不开一个问:有限的采集成本,到底该花在哪。
我一直的判断是,大模型学过的很多知识可以复用到具身,未来数据用量最大的一块会在预训练。所以我们看 Ego,主要看它在这一层的价值。
在完整、可用的前提下,我会把规模放第一。让模型多见些不同的人怎么干活,不必每条都照搬精细控制数据的采集标准。
最近看 Ego2Contact,感兴趣的是,同一段视频以后可能还能挖出更多信息。它仍用实测触觉配对训练,再做机器人适配,真机也还戴着手套。论文没证明我们对规模和精度的判断,但这个方向值得继续看。
对我们来说,持续采到大量可用的第一视角数据,是更想做好的事。
做预训练的朋友,你们怎么看数据的质量底线?哪些指标必须卡住,哪些可以适当放宽,换更大的规模和覆盖?
@aigc1024
我一直的判断是,大模型学过的很多知识可以复用到具身,未来数据用量最大的一块会在预训练。所以我们看 Ego,主要看它在这一层的价值。
在完整、可用的前提下,我会把规模放第一。让模型多见些不同的人怎么干活,不必每条都照搬精细控制数据的采集标准。
最近看 Ego2Contact,感兴趣的是,同一段视频以后可能还能挖出更多信息。它仍用实测触觉配对训练,再做机器人适配,真机也还戴着手套。论文没证明我们对规模和精度的判断,但这个方向值得继续看。
对我们来说,持续采到大量可用的第一视角数据,是更想做好的事。
做预训练的朋友,你们怎么看数据的质量底线?哪些指标必须卡住,哪些可以适当放宽,换更大的规模和覆盖?
@aigc1024