From 11edee581b1258462d072328f4da2998f45f97b6 Mon Sep 17 00:00:00 2001 From: hz4th_coder Date: Thu, 16 Jul 2026 23:35:39 +0800 Subject: [PATCH] =?UTF-8?q?=E6=96=B0=E5=A2=9E=E4=BA=A7=E5=93=81=E7=8A=B6?= =?UTF-8?q?=E6=80=81=E6=A3=80=E6=9F=A5=E5=8A=9F=E8=83=BD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 处理前检查产品是否已存在（已发布/待审核） - 避免重复处理已有产品 - 新增 check_product_exists API 方法 - 更新 README 文档 --- README.md | 19 ++++++- services/paramhub_client.py | 108 ++++++++++++++++++++++++++++++++++++ services/process_service.py | 31 +++++++++++ 3 files changed, 156 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 6cbaf34..4f77c55 100644 --- a/README.md +++ b/README.md @@ -15,6 +15,10 @@ - 可随时查看任务进度和状态 - 支持手动停止正在运行的任务 - 自动记录成功/失败/保存数量 +- 🛡️ **产品状态检查**：处理前自动检查产品是否已存在 + - 检查已发布产品（模型/GPU/CPU） + - 检查待审核产品 + - 已存在则自动跳过，避免重复处理 ## 系统架构 @@ -262,13 +266,18 @@ GET /api/system/health ## 处理流程 1. **添加待处理产品**：手动添加或系统自动发现新产品 -2. **自动/手动触发处理**： +2. **产品状态检查**： + - 检查产品是否已在 ParamHub 系统中 + - 检查已发布产品（模型/GPU/CPU） + - 检查待审核列表 + - 如已存在则跳过后续处理 +3. **自动/手动触发处理**： - 从内容库搜索相关文章 - 从互联网搜索最新数据 - 提取产品具体内容 - 根据类别字段填充数据 - 提交到ParamHub待审核区 -3. **发现新产品**：处理过程中自动发现并添加相关产品 +4. **发现新产品**：处理过程中自动发现并添加相关产品 ## 数据库表结构 @@ -313,6 +322,12 @@ BATCH_SIZE = 5 # 批量处理数量 ## 版本历史 +- v1.2.0 (2026-07-16): 产品状态检查 + - 新增产品状态检查功能 + - 处理前检查产品是否已存在（已发布/待审核） + - 避免重复处理已有产品 + - 新增 check_product_exists API 方法 + - v1.1.0 (2026-07-14): 后台任务系统 - 新增后台任务API（/api/tasks） - 抓取任务在后台独立运行，不受页面刷新影响 diff --git a/services/paramhub_client.py b/services/paramhub_client.py index 7541219..640e0a6 100644 --- a/services/paramhub_client.py +++ b/services/paramhub_client.py @@ -127,6 +127,114 @@ class ParamHubClient: except Exception as e: print(f"发送通知失败: {str(e)}") return False + + def check_product_exists(self, product_name): + """ + 检查产品是否已存在于系统中（已发布或待审核） + + Args: + product_name: 产品名称 + + Returns: + { + 'exists': bool, + 'status': str ('published'/'pending'/None), + 'message': str + } + """ + try: + if not self.session: + self.login() + + # 1. 检查已发布的产品（通过搜索API） + response = self.session.get( + f'{self.base_url}/api/search', + params={'q': product_name} + ) + + if response.status_code == 200: + result = response.json() + + # 检查是否匹配（精确匹配或包含匹配） + product_name_lower = product_name.lower().strip() + + # 检查已发布的模型 + for model in result.get('models', []): + name = model.get('name', '').lower().strip() + if product_name_lower == name or product_name_lower in name or name in product_name_lower: + return { + 'exists': True, + 'status': 'published', + 'message': f'产品 "{product_name}" 已在已发布的模型中', + 'category': 'ai-models', + 'data': model + } + + # 检查已发布的GPU + for gpu in result.get('gpus', []): + name = gpu.get('name', '').lower().strip() + if product_name_lower == name or product_name_lower in name or name in product_name_lower: + return { + 'exists': True, + 'status': 'published', + 'message': f'产品 "{product_name}" 已在已发布的GPU中', + 'category': 'gpus', + 'data': gpu + } + + # 检查已发布的CPU + for cpu in result.get('cpus', []): + name = cpu.get('name', '').lower().strip() + if product_name_lower == name or product_name_lower in name or name in product_name_lower: + return { + 'exists': True, + 'status': 'published', + 'message': f'产品 "{product_name}" 已在已发布的CPU中', + 'category': 'cpus', + 'data': cpu + } + + + # 2. 检查待审核列表 + response = self.session.get( + f'{self.base_url}/api/reviews', + params={'status': 'pending'} + ) + + if response.status_code == 200: + reviews = response.json() + product_name_lower = product_name.lower().strip() + + for review in reviews: + review_data = review.get('data', {}) + review_name = review_data.get('name', '').lower().strip() + + if product_name_lower == review_name or product_name_lower in review_name or review_name in product_name_lower: + return { + 'exists': True, + 'status': 'pending', + 'message': f'产品 "{product_name}" 已在待审核列表中', + 'review_id': review.get('id'), + 'category': review.get('category_id'), + 'data': review + } + + + # 产品不存在 + return { + 'exists': False, + 'status': None, + 'message': f'产品 "{product_name}" 未在系统中找到' + } + + except Exception as e: + print(f"检查产品是否存在失败: {str(e)}") + # 出错时返回不存在，允许后续处理 + return { + 'exists': False, + 'status': None, + 'message': f'检查失败: {str(e)}' + } # 全局客户端实例 paramhub_client = ParamHubClient() \ No newline at end of file diff --git a/services/process_service.py b/services/process_service.py index c8e1a8a..ac79c36 100644 --- a/services/process_service.py +++ b/services/process_service.py @@ -44,6 +44,37 @@ class DataProcessService: } try: + # 0. 【新增】检查产品是否已存在于系统中（已发布或待审核） + print(f"[检查] 检查产品是否已存在: {product_name}") + exists_check = paramhub_client.check_product_exists(product_name) + + if exists_check['exists']: + # 产品已存在，不进行后续处理 + status_text = { + 'published': '已发布', + 'pending': '待审核' + }.get(exists_check['status'], '未知状态') + + result['message'] = f"产品 '{product_name}' 已在系统中{status_text}，跳过处理" + print(f"[跳过] {result['message']}") + + # 记录处理历史 + db.add_process_history( + product_name=product_name, + category=category, + subcategory=subcategory, + status='skipped', + details={ + 'reason': 'product_exists', + 'existing_status': exists_check['status'], + 'existing_data': exists_check.get('data') + } + ) + + return result + + print(f"[检查] 产品未找到，继续处理流程") + # 1. 从内容库和互联网搜索原始数据 print(f"[处理] 开始处理产品: {product_name}") search_results = search_service.search_all(