-
143a3d5c89
v1.4.3 任务结束保存状态前应用排除规则, 防止覆盖运行中配置的队列清理
master
v1.4.3
hz4th_coder
2026-08-14 10:54:41 +08:00
-
57d45d901b
v1.4.2 屏蔽排除规则自动清理队列: 设置 exclude 后待爬队列同步移除命中 URL
v1.4.2
hz4th_coder
2026-08-14 10:44:31 +08:00
-
950f5af5ea
v1.4.1 新增「重爬失败页」: 一键把失败页面重新加入待爬队列
v1.4.1
hz4th_coder
2026-08-14 10:36:00 +08:00
-
ec053266a7
v1.4.0 修复反爬误判+浏览器崩溃空转, 详情页多元翻页
v1.4.0
hz4th_coder
2026-08-14 10:28:18 +08:00
-
32eebf3dd1
auto 任务运行中实时显示已爬/待爬缓存数; 人工停止后继续爬取验证
v1.3.1
hz4th_coder
2026-08-12 10:19:19 +08:00
-
d9c9f0c633
chore: data/auto_state 为运行时爬取状态, 移出版本控制 (.gitignore)
hz4th_coder
2026-08-12 09:57:53 +08:00
-
909e8e01b5
新增继续爬取: auto 任务达 max_pages 上限停止后, 有待爬缓存链接时可在详情页一键继续
v1.3.0
hz4th_coder
2026-08-12 09:57:46 +08:00
-
e749d70a43
chore: data/exports 为运行时打包产物, 移出版本控制 (.gitignore)
hz4th_coder
2026-08-12 09:43:32 +08:00
-
56f30f78c4
新增打包导出: 任务输出目录打包为 zip, 支持网页下载或发送到指定邮箱(默认 wlq@tphai.com)
v1.2.0
hz4th_coder
2026-08-12 09:41:59 +08:00
-
0482284cc0
反爬拦截不再重试: 判定为反爬类错误(403/429/503/Cloudflare/captcha/验证页等)直接放弃该页, 节省重试时间; 验证页持续8秒即判定反爬, 不再干等满超时(默认60s)
v1.1.1
hz4th_coder
2026-08-12 09:37:23 +08:00
-
796e667533
性能优化: 任务列表瘦身+详情分页+auto状态独立存储+磁盘统计缓存+db异步同步; 统计数值未读取时显示-
v1.1.0
hz4th_coder
2026-08-12 09:28:16 +08:00
-
66ba1a7cfc
v1.0.14: 自动爬取支持深度/页数无限制(默认0/1000), 待爬链接持久化缓存队列(停止后续爬), 起始网址不去重, 清空缓存API
v1.0.14
hz4th_coder
2026-08-11 21:07:31 +08:00
-
3ad3d00ca8
v1.0.13: 自动爬取改为持续递归(无深度限制, 爬到无新链接为止), max_pages作安全上限(默认200)
v1.0.13
hz4th_coder
2026-08-11 19:45:51 +08:00
-
aa0c2f56d0
v1.0.12: crawl_results 合并 html_file/txt_file/meta_file 为单一 base_file(同前缀不同后缀), 含存量数据自动迁移
v1.0.12
hz4th_coder
2026-08-11 19:35:55 +08:00
-
bf6be47c01
v1.0.11: 新增历史记录回填脚本 backfill.py(幂等, 支持指定任务), 补齐数据库功能上线前的爬取记录
v1.0.11
hz4th_coder
2026-08-11 19:29:57 +08:00
-
abde505d32
v1.0.10: 修正数据库连接信息(uni_crawler/wleD6x2T, 库uni_crawler)
v1.0.10
hz4th_coder
2026-08-11 19:27:18 +08:00
-
9cd5b29644
v1.0.9: 爬取记录入库MySQL(crawler库: 任务/运行/结果三表, 内容不入库只存元数据, OK/FAIL状态标记)
v1.0.9
hz4th_coder
2026-08-11 19:23:35 +08:00
-
5a137514e8
v1.0.8: 自动爬取URL规范化去重(锚点/跟踪参数/尾部斜杠/默认端口) + 修复反爬启发式误伤小页面
v1.0.8
hz4th_coder
2026-08-11 17:57:59 +08:00
-
13a760fa6f
v1.0.7: 任务列表按模式分组展示(批量/定时/自动各占一行, 空组隐藏)
v1.0.7
hz4th_coder
2026-08-11 15:40:44 +08:00
-
add2cea545
v1.0.6: 导入网址文件增加追加/覆盖处理方式选择(默认追加)
v1.0.6
hz4th_coder
2026-08-11 15:33:19 +08:00
-
44852f7be7
v1.0.5: 网址列表支持上传txt批量导入(UTF-8/GBK自动识别/去重/行内注释清理)
v1.0.5
hz4th_coder
2026-08-11 15:26:17 +08:00
-
e8541a8545
v1.0.4: 基本搜索功能 - 按网址/标题/任务名子串匹配查找已爬内容, 支持跳转预览
v1.0.4
hz4th_coder
2026-08-11 15:21:31 +08:00
-
e70a3a877f
v1.0.3: 回收站功能 - 删除任务进回收站可恢复, 仅可手动彻底删除/清空
v1.0.3
hz4th_coder
2026-08-11 13:25:28 +08:00
-
1de2a0af54
v1.0.2: 自动爬取试爬取功能 + 每个页面/图片生成操作信息元数据(模式/时间/网址/来源链接/深度等)
v1.0.2
hz4th_coder
2026-08-11 13:20:14 +08:00
-
29176fc66b
v1.0.1: 弹窗防误关确认/布局修复/定时任务首次执行时间/日间夜间双主题/总体统计区
v1.0.1
hz4th_coder
2026-08-11 13:02:34 +08:00
-
dede5003a4
通用爬虫系统 v1.0.0: 批量/定时/自动爬取 + Web管理界面 + 图片/通知/热更新
v1.0.0
hz4th_coder
2026-08-11 12:44:18 +08:00