Crawl4AI:开源 LLM 友好型 Web 爬虫和抓取工具
作者:老八日期:2024-10-03分类:Windows
Crawl4AI是什么
Crawl4AI 是一款开源的 LLM 友好型 Web 爬虫工具,旨在简化异步 Web 爬取和数据提取,专为大型语言模型 (LLM) 和 AI 应用程序设计。它可以作为 Python 包或通过 Docker 安装,提供灵活的使用方式。Crawl4AI 的主要特点包括支持多 URL 并行爬取、提取所有媒体标签、外部和内部链接、元数据等。它支持自定义钩子、用户代理、页面截图、JavaScript 执行,并能生成结构化的输出,适合各种复杂的爬取场景,工具还具备异步架构和隐私保护功能。
Crawl4AI特点
🆓 完全免费且开源
🚀 性能超快,超越许多付费服务
🤖 LLM 友好的输出格式(JSON、清理的 HTML、markdown)
🌍 支持同时抓取多个 URL
🎨 提取并返回所有媒体标签(图像、音频和视频)
🔗 提取所有外部和内部链接
📚 从页面中提取元数据
🔄 爬取之前用于身份验证、标头和页面修改的自定义钩子
🕵️ 用户代理自定义
🖼️ 截取页面截图
📜 抓取前执行多个自定义 JavaScript
📊 使用 JsonCssExtractionStrategy 生成无需 LLM 的结构化输出
📚 各种分块策略:基于主题、正则表达式、句子等
🧠 高级提取策略:余弦聚类、LLM 等
🎯 CSS 选择器支持精确的数据提取
📝 传递指令/关键字以优化提取
🔒 代理支持,增强隐私和访问
🔄 针对复杂的多页面爬取场景的会话管理
🌐 异步架构,提高性能和可扩展性
Crawl4AI如何安装
Crawl4AI 提供灵活的安装选项,以适应各种用例。您可以将其安装为 Python 包或使用 Docker。
使用 pip 🐍
选择最适合您需求的安装选项:
基本安装
对于基本的网页爬取和抓取任务:
pip install crawl4ai
默认情况下,这将安装 Crawl4AI 的异步版本,使用 Playwright 进行网络爬取。
👉 注意:安装 Crawl4AI 时,安装脚本应自动安装并设置 Playwright。但是,如果遇到任何与 Playwright 相关的错误,则可以使用以下方法之一手动安装它:
通过命令行:
playwright install
如果上述方法不起作用,请尝试这个更具体的命令:
python -m playwright install chromium
在某些情况下,第二种方法已被证明更为可靠。
同步版本安装
如果您需要使用 Selenium 的同步版本:
pip install crawl4ai[sync]
开发安装
对于计划修改源代码的贡献者:
git clone https://github.com/unclecode/crawl4ai.gitcd crawl4ai pip install -e .
使用 Docker
我们正在创建 Docker 镜像并将其推送到 Docker Hub。这将提供一种在容器化环境中运行 Crawl4AI 的简便方法。敬请期待更新!
Crawl4AI如何使用
在线体验:在 Colab 中打开
本文链接:https://www.lb1581.xyz/post/8522.html 转载需授权!
流泪
0人
打酱油
0人
开心
44人
鼓掌
42人
恐怖
0人
猜你还喜欢
- 10-09 Mybili-bilibili收藏夹备份下载工具
- 10-03 Crawl4AI:开源 LLM 友好型 Web 爬虫和抓取工具
- 10-03 douyin_upload:抖音自动发布助手
- 09-28 “图了个图”v1.0.0:探索AI修图的新境界,免费且令人满意
- 09-24 中英状态实时显示 – 光标处实时显示输入法中英状态[Windows]
- 09-16 使用文件传输助手,手机电脑轻松互传文件——微信文件传输助手
- 09-14 一款功能齐全的截图工具,支持标注、滚动截图、窗口截图等多种功能——Xnip
- 09-13 PCSX2-开源 PlayStation 2 (PS2) 模拟器
- 09-10 一款专注于安卓平台的极简浏览器,支持自动推送订阅内容——Top浏览器
- 09-02 B站空降助手:一款跳过B站视频中恰饭片段的浏览器插件
- 08-27 一款快速、简约、隐私优先的开源浏览器——Min浏览器
- 08-25 Sticky Notes-在线便利贴软件
取消回复欢迎 你 发表评论:
- 搜一搜,看一看
-
- 标签列表
-
-
最新文章
热评文章
热门文章
- 1精选恶意软件分析大合集-Awesome Malware Analysis
- 2经典泡妞话术惯例库
- 3台风AI自媒体+爆文变现营,14天用GPT创作提效10倍
- 4TikTok避坑指南,新手入局TikTok别再踩坑了
- 58大体系渠道篇·电商多渠道布局系列线上课,渠道放大,多渠道布局
- 6刘媛媛亲授:普通人快速逆袭的26堂必修课
- 7新手开公司必备知识八合一全套
- 8查询 QQ 注册时间工具:qqbirthday
- 9磁力链接-在线磁力连接搜索引擎
- 10Luxirty Search:基于Google开源搜索引擎 屏蔽内容农场 无广告、无跟踪
- 11iPhone16 Pro 贴黑边膜校准专用壁纸
- 12持久的成功 早xie治疗手册(翻译版)
- 13舒老师的文案课,产品文案痛苦60讲,用户视角形成正确文案观,让你写文案突飞猛进
- 14电商企业财务管理线上课,为电商企业规划财税
- 15超级股权引爆超级价值,电商股权设计与激励10堂线上课
- 1飞机资源大全 代注册 懂得来
- 2番茄免费小说5.9.3.32会员去广告版
- 3叶倩彤某种颜色有声书合集7套
- 4【银河餐饮】比尔盖南:99套小吃配方+创业落地指南
- 5我朋友拍的,当然,信不信随便你咯~
- 6康纳PUA玩家手册:搭讪艺术从人门到精通
- 7鹅厂K歌软件 VIP破解版
- 8两性专题学习资料【48】你的性福必备
- 9IOS圈X脚本-破解微信读书会员-真的牛逼
- 10iOS微信16➕1推送版 自备证书
- 1110元一单 微信辅助注册平台 3秒搞定一单
- 12一款帮助您进入心流状态的书写工具——Ensō
- 13最佳AI图像生成器列表:ChatGPT Image Generator
- 14U盘车载专用 3068 首 24G
- 15绝版国学资料,操作三天就出单
Copyright© 老八资源网 只分享精品!
暂无评论,来添加一个吧。