爬虫
「Lightpanda」为机器而生的开源 Headless Browser:Zig 重写、面向 AI Agent 和爬虫自动化
大多数 Headless Browser 其实还是围绕“人类浏览器”改出来的:Chrome headless、Chromium 容器、Playwright / Puppeteer …
「Scrapling」自适应网页抓取与爬取框架
Scrapling 是一个 Python 网页抓取框架,定位很清楚:从一次简单请求,到需要调度、会话管理、断点恢复的大规模 crawl,都尽量放在同一套工具链里处理。它不是只包装一…
「Spider」Rust 写的高速网页爬虫与 AI Web 数据抓取工具
Spider 是一个 Rust 写的高速网页爬虫与 Web 数据抓取项目,定位是为 AI Agent 和 LLM 管道提供干净、低延迟的网页数据。它既可以作为 Rust crate…