实验1：数据获取、存储与预处理\n\n## 摘要\n本实验围绕网络数据的全生命周期处理，通过一个实用案例，说明了网页爬虫构建、数据解析、数据库存储以及基础预处理的方法。实验旨在掌握自动化获取公开网络数据、结构化信息提取、数据持久化存储及脏数据清洗等关键技术和思想。\n\n## 一、实验目的\n1. 熟悉Python中的Urllib/Requests库及Scrapy框架构建简单的网页爬虫；\n2. 掌握正规表达式与BeautifulSoup进行数据解析的工具；\n3. 能够连接MySQL或SQLite数据库存储结构化数据；\n4. 配合Pandas完成基本数据预处理（缺失值移除、去重、文本规整），建立一条清洗到服务的概览流程。\n\n## 二、技术路线\n使用开源数据集网络（如GitHub开源列表、天气查询或蘑菇分类样例站），基本设计如下：\n`\n开始 > 模拟发送HTTP请求爬取页面 > 解析页面提取有效字段 > 存入本地数据库(SQLite/MariaDB) > 读取数据进行标准化预处理 >输出可结构化文件(如CSV表格以公共服务供给后续)|输出错误日志。\n`\n环境：Python 3.x,pip( Requests,lxml/dis,sqlite3标准库 ， beautifulsoup4,pandas )。兼容正则提取及选择实现方式的可互动编辑器。\n\n## 三、实验步骤深度文档\n\n### 步骤1：编写网页爬虫数据抓取模块\n考虑到学习资源普遍使用静态例子比如常用图书排行榜(例如日亚或带假端点站点)。\n建立sleestspider.py:\n解释见顶部\n引入了requests。拿取模拟头以减轻终端机制(比如浏览器User-Agent设定为 Mozilla/5.0编写)。留意配置相应的‘解析’包。尝试捕获HTTP| ConnectionError！ 存储本次成功文件码/status.\n在该HTML页面使用简单类配置`selsome':'.card