From 5ca45ecc8c6876a1789b0ea0756e88485d1b108f Mon Sep 17 00:00:00 2001 From: wangshaoqing Date: Wed, 27 May 2026 13:43:56 +0800 Subject: [PATCH] Add project README --- README.md | 42 ++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 42 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..2b3b861 --- /dev/null +++ b/README.md @@ -0,0 +1,42 @@ +# xhs_video_crawler + +用于探索和研究小红书视频公开内容抓取流程的项目。 + +## 项目目的 + +本项目用于学习和验证视频信息采集相关技术,包括请求分析、页面解析、数据结构整理、下载流程设计和后续自动化处理。 + +## 合规说明 + +请仅在合法、合规、授权的范围内使用本项目: + +- 遵守小红书平台服务条款、robots 协议和相关法律法规。 +- 不采集、存储或传播未授权的隐私信息。 +- 不绕过平台访问控制、验证码、登录风控或反爬限制。 +- 不将本项目用于批量侵权下载、商业化搬运或其他违规用途。 + +## 计划功能 + +- 分析公开视频页面的数据结构。 +- 提取视频标题、作者、发布时间、封面和视频地址等元数据。 +- 支持按链接或关键词进行探索性抓取。 +- 保存抓取结果到本地文件或结构化数据表。 +- 为后续下载、去重和任务队列处理预留接口。 + +## 项目状态 + +当前处于初始化阶段,README 先作为项目说明和开发规划入口。 + +## 开发建议 + +后续可以按以下方向逐步推进: + +1. 初始化运行环境和依赖管理。 +2. 增加基础配置文件,例如 `.gitignore`、依赖清单和示例配置。 +3. 实现单个公开视频链接的数据解析。 +4. 增加错误处理、日志和请求频率控制。 +5. 编写基础测试,确保解析逻辑稳定。 + +## 免责声明 + +本项目仅用于技术学习与研究。使用者应自行承担使用本项目产生的全部责任。