难度:中等

抓取网站数据

生成爬虫脚本,批量抓取网页信息

适用工具:CursorChatGPTClaude
标签:#爬虫#数据采集#自动化

📝 操作步骤

  1. 1确定要抓取的网站和数据
  2. 2告诉 AI 数据的结构和数量
  3. 3要求生成爬虫代码
  4. 4AI 会选择合适的工具(BeautifulSoup/Playwright)
  5. 5测试并调整选择器
  6. 6运行并导出数据

💡 示例提示词

我想抓取某招聘网站上「前端工程师」岗位的信息(北京地区,最近一周)。需要:公司名、岗位名、薪资范围、要求、发布时间。请用 Python + Playwright 写爬虫,包括:1)处理分页 2)避免反爬(随机延迟)3)导出为 CSV。

🔗 来源参考

GitHub 开源项目