rewrite in rust

[polypopopo]

rewrite the script as a complete rust project

[polypopopo]

@aaravlu 可以来架构一下吗，我来理一下功能

1. 爬虫，主要是识别（这一步可以交给智能体做）和提取特定标签，然后拿到信息（标签内容、超链接、图片下载）
2. 智能体，根据文段提取的内容生成html/markdown，先参考来做处理逻辑
3. 组件通信

[polypopopo]

更详细的版本：

用Rust重写微信文章爬虫功能

当前实现

现有的Python实现使用Selenium WebDriver来：

1. 爬取指定微信公众号文章URL的内容
2. 识别和提取<p>标签中的文本内容
3. 生成Markdown格式的输出文件，包含文章标题、布局信息和正文内容
4. 需要提取的标签有h1、img、p

Rust重写需求

核心功能

1. 网页内容获取

   • 实现无头浏览器功能或使用HTTP客户端直接获取页面内容
   • 处理微信公众号页面的动态加载内容

2. 内容解析与提取

   • 解析HTML文档，准确识别文章正文区域（特别是rich_media_content类）
   • 提取所有<p>标签的文本内容，过滤空文本

3. Markdown生成

   • 生成结构化的Markdown文件，包含：
     • Front matter（标题、布局、摘要、封面图等元数据）
     • 格式化后的正文内容

• 使用Rust生态中的相关库（如reqwest、scraper、tokio等）
• 实现适当的错误处理和超时机制
• 保持与现有Python版本相同的功能特性
• 考虑性能优化和内存安全

预期成果

• 功能等效的Rust版本爬虫
• 清晰的代码结构和文档