5 Commits
Author SHA1 Message Date
hz4th_coder 796e667533 性能优化: 任务列表瘦身+详情分页+auto状态独立存储+磁盘统计缓存+db异步同步; 统计数值未读取时显示-
- /api/tasks 响应 1.57MB -> 12KB (latest_run 只带摘要, 一次读 runs.json)
- /api/stats 磁盘占用加 30s 缓存, 去除重复全量读
- 详情接口分页返回 results (默认100条/页), 前端表格分页+页码跳转
- auto 任务 pending/visited 队列迁移到 data/auto_state/ 独立文件 (tasks.json 1.6MB -> 14KB)
- MySQL 同步改后台线程异步执行 (db.sync_run_async/upsert_task_async), 不再阻塞爬虫和 API
- 启动时自动迁移存量 auto 状态
- 统计/回收站/运行中数值在未读到真实数据前显示 '-'
2026-08-12 09:28:16 +08:00
hz4th_coder aa0c2f56d0 v1.0.12: crawl_results 合并 html_file/txt_file/meta_file 为单一 base_file(同前缀不同后缀), 含存量数据自动迁移 2026-08-11 19:35:55 +08:00
hz4th_coder bf6be47c01 v1.0.11: 新增历史记录回填脚本 backfill.py(幂等, 支持指定任务), 补齐数据库功能上线前的爬取记录 2026-08-11 19:29:57 +08:00
hz4th_coder abde505d32 v1.0.10: 修正数据库连接信息(uni_crawler/wleD6x2T, 库uni_crawler) 2026-08-11 19:27:18 +08:00
hz4th_coder 9cd5b29644 v1.0.9: 爬取记录入库MySQL(crawler库: 任务/运行/结果三表, 内容不入库只存元数据, OK/FAIL状态标记) 2026-08-11 19:23:35 +08:00