Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
abde505d32 |
@@ -64,7 +64,7 @@
|
|||||||
- 详情页结果表中点「📋 元数据」即可在线查看
|
- 详情页结果表中点「📋 元数据」即可在线查看
|
||||||
|
|
||||||
### 6. 数据库记录(MySQL)
|
### 6. 数据库记录(MySQL)
|
||||||
任务、运行记录、爬取结果实时写入 MySQL(`121.40.164.32:16006`,库 `crawler`),**网页完整内容不入库**(存磁盘文件),库中只存标题、网址、状态、文件路径等元数据:
|
任务、运行记录、爬取结果实时写入 MySQL(`121.40.164.32:16006`,账号 `uni_crawler`,库 `uni_crawler`),**网页完整内容不入库**(存磁盘文件),库中只存标题、网址、状态、文件路径等元数据:
|
||||||
- `crawl_tasks` — 任务信息(含回收站标记 deleted_at)
|
- `crawl_tasks` — 任务信息(含回收站标记 deleted_at)
|
||||||
- `crawl_runs` — 每次运行记录(状态/进度/成功失败数/图片数/时间)
|
- `crawl_runs` — 每次运行记录(状态/进度/成功失败数/图片数/时间)
|
||||||
- `crawl_results` — 每页一条(**status: OK/FAIL** 成功失败标记、标题、网址、来源链接、深度、错误信息、文件路径、图片数)
|
- `crawl_results` — 每页一条(**status: OK/FAIL** 成功失败标记、标题、网址、来源链接、深度、错误信息、文件路径、图片数)
|
||||||
|
|||||||
@@ -14,12 +14,12 @@ import pymysql
|
|||||||
DB_CONFIG = dict(
|
DB_CONFIG = dict(
|
||||||
host="121.40.164.32",
|
host="121.40.164.32",
|
||||||
port=16006,
|
port=16006,
|
||||||
user="root",
|
user="uni_crawler",
|
||||||
password="hz_123",
|
password="wleD6x2T",
|
||||||
charset="utf8mb4",
|
charset="utf8mb4",
|
||||||
)
|
)
|
||||||
|
|
||||||
DB_NAME = "crawler"
|
DB_NAME = "uni_crawler"
|
||||||
|
|
||||||
DDL = [
|
DDL = [
|
||||||
"""
|
"""
|
||||||
|
|||||||
Reference in New Issue
Block a user