Files
product-crawler/requirements.txt
hubian 0ee0abbbd1 feat: 产品参数爬取系统 v1.0.0
功能:
- 多步骤爬取流程(入口页→列表页→详情页)
- 浏览器爬虫支持(Playwright,处理JS渲染)
- 比亚迪汽车爬虫示例
- 后台管理界面
- 数据存储和导出

技术栈:
- Python 3 + Flask
- Playwright (浏览器自动化)
- BeautifulSoup (HTML解析)

端口:
- API服务: 19011
- 后台管理: 19012
2026-04-10 00:45:51 +08:00

8 lines
143 B
Plaintext

flask>=2.0.0
flask-cors>=3.0.0
requests>=2.28.0
beautifulsoup4>=4.11.0
lxml>=4.9.0
playwright>=1.30.0
apscheduler>=3.9.0
python-dateutil>=2.8.0