转行AI，花了2个月踩了无数坑开发的基于草台班子vast.ai的调度平台终于稳定运行了，相同性能的GPU机器相比AWS最多可节省95%的成本，同时机器的进出带宽也不计费或几乎不计费，配合Cloudflare的Worker和免费CDN，实现了极其便宜的边缘计算、极其便宜的推理服务器和极其便宜的流量带宽，大部分AI场景都可以节省一半以上的综合费用，特别适合成本敏感的个人开发者和小团队。第一次在生产环境大规模使用Cloudflare，把它们家的产品几乎都摸了一遍，踩了不少坑，cf填坑的速度也很快，肉眼可见地在优化。对cf非常看好，打算定投他们家股票了。另外推理服务用的框架是开源的litserve，经受住了考验，也感谢一下他们。