v1.0.13: 自动爬取改为持续递归(无深度限制, 爬到无新链接为止), max_pages作安全上限(默认200)

2026-08-11 19:45:51 +08:00
parent aa0c2f56d0
commit 3ad3d00ca8
4 changed files with 15 additions and 15 deletions
@@ -49,12 +49,12 @@
 - 可启用/停用调度，自动计算下次执行时间；到点自动开跑，跑完自动计算下一次

 ### 4. 自动爬取模式
-给定一个起始网址，系统自动从页面里发现链接、按规则筛选后 BFS 爬取：
+给定一个起始网址，系统**持续递归**爬取：爬取页面 → 自动发现符合规则的链接 → 继续爬取 → 继续发现……直到**无新链接可爬**时自动结束。
 - **🧪 试爬取**：先用起始网址试跑一次，展示规则筛选后的链接清单（将爬取哪些、排除哪些及原因），确认规则符合预期后再正式开爬
+- **最大页数（安全上限）**：无深度限制，但达到页数上限自动停止，防止动态无限链接的站点失控
 - **包含规则**：只爬包含指定子串（或正则）的链接
 - **排除规则**：跳过匹配的链接（如 login、/tag/）
 - **仅同域名**：限制在起始网站内
- **最大页数 / 最大深度**：控制爬取规模
 - 其余参数（间隔、重试、图片、通知）同批量模式

 ### 5. 资源操作信息（元数据）