我愿称之为2024最火🔥最新开源 Web 爬虫项目:FireCrawl

FireCrawl可以将整个网站转换为可用于 LLM 的 Markdown 或结构化数据。使用单个 API 进行抓取、抓取和提取。

说白了就是将一个 URL 转换为 Markdown,很方便的和各种大模型进行对接,而且还支持各种各样的 SDK。

目前GitHub Stars 量已经突破 11K。

不想自己部署的话,可以直接使用它们的在线服务,直接转Markdown 格式,效果还不错。

开源地址:https://github.com/mendableai/firecrawl
 
 
Back to Top