【招募】[简单的爬虫入门] 招募参与者

xjtu_wang

项目简介
你是否曾为课程评价、选课、选座等大量重复性的网页点击任务而烦恼？本项目旨在通过Python爬虫技术，带你入门如何自动化处理这些繁琐的工作，解放你的双手和时间。

本项目是《Python综合训练》课程大作业的延伸，我们将学习使用Python强大的工具库，实现模拟真人操作浏览器和直接向服务器发送请求，从而实现批量化、自动化的网络任务。

最终效果参考：可以访问 GitHub 项目 xjtu-wang/XJTU-Toolbox 查看更详细的功能介绍与效果演示。
🛠️ 核心技术

• Selenium: 一个强大的浏览器自动化工具，通过代码模拟真人在浏览器上的所有操作，如点击按钮、填写表单等。可见即可爬，上手简单。
• Requests: 一个简洁高效的HTTP库，可以直接向服务器发送GET或POST请求，无需加载前端页面，速度极快，适合进行高速、大量的请求操作（如抢课、抢座）。
  

🗺️ 教学内容与时间线项目将在 国庆假期后 开始，每项任务的周期约为 2个星期，具体时间可灵活商议。

• TASK 1: 万事开头难——环境配置
  
  • 安装与配置 WSL (Windows Subsystem for Linux)。
  • 学习使用 miniconda 或 pyenv 进行Python环境管理。
  • 学习 Git 的基本操作，建立你的第一个GitHub仓库，并成功进行代码的推送（push）与拉取（pull）。
  • 尝试运行最终项目，配置好所需环境。
    
• TASK 2: 神兵利器——核心库与辅助工具
  
  • 学习 Selenium 和 Requests 库的基本用法。
  • 了解并使用 AI 辅助编程工具，如 GitHub Copilot、Gemini 等。
  • 学习使用浏览器自带的开发者工具（F12），分析网络请求，理解请求头、负载、URL和响应码的含义。
    
• TASK 3: 小试牛刀——完成最终目标
  
  • 选择一个实际应用场景作为最终目标，例如：自动化完成课程评价、自动化进行讲座选座（也可自行确定其他目标）。
    
• PLUS (进阶内容): 实现云端自动化
  
  • 尝试申请并使用云服务器（如阿里云学生服务器）。
  • 在服务器上以“无头模式”（headless mode）运行你的脚本。
  • 学习使用 crontab 等工具实现定时自动化任务（例如，在选课期间24小时不间断捡漏）。
  • 学习 mobaxterm, xshell 等远程终端工具的使用。
    

🎓 教学与参与方式

• 教学方式： 任务驱动式学习。我们会发布每次任务的目标和相关的学习资料，不设固定的上课时间，大家根据自己的节奏安排。
• 答疑方式： 提供线上答疑支持。如果环境配置等问题遇到困难，可以安排线下协助解决。
  

📌 项目信息一览

• 项目难度： 一般。本项目不仅会学习爬虫技术，还会接触到一整套比较完善的开发工具链。
• 报名要求： 推荐有一点编程基础。零基础的同学可能需要投入更多的时间来跟上进度，但只要有兴趣和毅力，也欢迎加入。
• 所需材料： 个人电脑 + 稳定的网络连接。
• 预估费用： 约等于 0 元 (可能需要部分网络代理费用)。
• 人数限制： 5-6人左右.
  

【报名通知】科技体验与实践活动
http://stei.club/forum.php?mod=viewthread&tid=95
(出处: 电信科协官网)