去年8月，我想要的机器人，说不定很快就要来了。
tidybot 是一个接入了大语言模型的辅助机器人，更智能且更能够完成一些个性化的任务，如把家中物品摆放整齐等。
大概原理，我的理解，摄像头等传感器实时获取环境信息，在多维空间里与文字对齐绑定，生成文字信息传给 LLM ，再由 LLM 理解后输出格式化的控制文字，再把控制文字转成控制信号来控制机器人动作。
因为 LLM 目前只支持文字输入，文字输出，所以想要使用 LLM 作为大脑，就得把机器人的输入和输出都转成文字。那就需要用到类似于 ImageBind 的思路，把文字、图像、传感器数据在多维空间对齐绑定。
https://tidybot.cs.princeton.edu/