python爬取数据后储存数据到mysql数据库后如何覆盖旧

python爬取数据后储存数据到mysql数据库后添加新数据覆盖旧。

1、先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据（select）。

2、如果存在数据，则更改许要更改的字段（update）。

3、如果不粗在数据，则进行添加新数据（insert）。

去装一个 pymsql包

然后

import pymysql  #导入pymsql模块

#链接数据库，注意port是int型，不是str，所以不要用引号

conn = pymysql.connect(

                user='root',

                password='root',

                host='127.0.0.1',

                port=3306,

                database='test_demo',

                use_unicode=True,

                charset="utf8"

            )

#获取游标

cursor = conn.cursor()

#插入数据，注意看有变量的时候格式

cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))

#提交

conn.commit()

#关闭连接

cursor.close()

类似这样

爬虫可以做的是以下四种：

1、收集数据：Python爬虫程序可用于收集数据，这是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单、快速。

2、数据储存：Python爬虫可以将从各个网站收集的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。注意：搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到访问权限很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。

3、网页预处理：Python爬虫可以将爬虫抓取回来的页面，进行各种步骤的预处理。比如提取文字、中文分词、消除噪音、索引处理、特殊文字处理等。

4、提供检索服务、网站排名：Python爬虫在对信息进行组织和处理之后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。同时可以根据页面的PageRank值来进行网站排名，这样Rank值高的网站在搜索结果中会排名较前，当然也可以直接使用Money购买搜索引擎网站排名。感兴趣的话点击此处，免费学习一下

想了解更多有关爬虫的相关信息，推荐咨询达内教育。达内与阿里、Adobe、红帽、ORACLE、微软、美国计算机行业协会（CompTIA）、百度等国际知名厂商建立了项目合作关系。共同制定行业培训标准，为达内学员提供高端技术、所学课程受国际厂商认可，让达内学员更具国际化就业竞争力。

---