FireCrawl可以将整个网站转换为可用于 LLM 的 Markdown 或结构化数据。使用单个 API 进行抓取、抓取和提取。
说白了就是将一个 URL 转换为 Markdown，很方便的和各种大模型进行对接，而且还支持各种各样的 SDK。
目前GitHub Stars 量已经突破 11K。
不想自己部署的话，可以直接使用它们的在线服务，直接转Markdown 格式，效果还不错。
开源地址：https://github.com/mendableai/firecrawl
FireCrawl可以将整个网站转换为可用于 LLM 的 Markdown 或结构化数据。使用单个 API 进行抓取、抓取和提取。
说白了就是将一个 URL 转换为 Markdown，很方便的和各种大模型进行对接，而且还支持各种各样的 SDK。
目前GitHub Stars 量已经突破 11K。
不想自己部署的话，可以直接使用它们的在线服务，直接转Markdown 格式，效果还不错。
开源地址：https://github.com/mendableai/firecrawl
