使用Python连接MySQL数据库

本篇文章使用python中的pymysql库连接MySQL数据库，并完成建表，数据写入和查询的过程。为了保证内容的完整性，我们将内容分为两个 阶段，***阶段简单介绍数据的爬取过程。看过之前爬虫文章的同学请直接忽略。第二阶段介绍将爬去的数据写入MySQL数据库的过程。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名注册、网络空间、营销软件、网站建设、保康网站维护、网站推广。

1，使用python抓取并提取数据

***阶段介绍数据爬取过程，首先导入所需的库文件，主要包括requests，re和pandas三个库。具体作用在注释中进行了说明，这里不再赘述。

 
 
 
 
      
  
  
  
  1. #导入requests库(请求和页面抓取) 
    2.   
  
  
  
  2. import requests 
    3.   
  
  
  
  3. #导入正则库(从页面代码中提取信息) 
    4.   
  
  
  
  4. import re 
    5.   
  
  
  
  5. #导入科学计算库(拼表及各种分析汇总) 
    6.   
  
  
  
  6. import pandas as pd 
    7.

设置爬取请求中的头文件信息。

 
 
 
 
      
  
  
  
  1. #设置请求中头文件的信息 
    2.   
  
  
  
  2. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64  
    3.   
  
  
  
  3. Safari/537.11', 
    4.   
  
  
  
  4. 'Accept':'text/html;q=0.9,*/*;q=0.8', 
    5.   
  
  
  
  5. 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
    6.   
  
  
  
  6. 'Connection':'close', 
    7.   
  
  
  
  7. 'Referer':'https://www.baidu.com/' 
    8.   
  
  
  
  8. } 
    9.

开始抓取数据，并查看抓取到的网页内容。这里我们所需要的数据还在页面源码中，需要使用正则表达式进行提取。

 
 
 
 
      
  
  
  
  1. #抓取并保存页面信息 
    2.   
  
  
  
  2. r=requests.get('http://www.p2peye.com/shuju/ptsj/',headers=headers) 
    3.   
  
  
  
  3. html=r.content 
    4.   
  
  
  
  4. #对抓取的页面进行编码 
    5.   
  
  
  
  5. html=str(html, encoding = "GBK") 
    6.   
  
  
  
  6. #查看抓取的页面源码 
    7.   
  
  
  
  7. html 
    8.

使正则表达式从抓取到的网页源码中提取所需数据。这里我们一共提取9个字段。

 
 
 
 
      
  
  
  
  1. #使用正则提取title字段信息 
    2.   
  
  
  
  2. title=re.findall(r'"return false".*?title="(.*?)"',html) 
    3.   
  
  
  
  3. #使用正则提取total字段信息 
    4.   
  
  
  
  4. total=re.findall(r'"total">(.*?)万<',html) 
    5.   
  
  
  
  5. #使用正则提取rate字段信息 
    6.   
  
  
  
  6. rate=re.findall(r'"rate">(.*?)<',html) 
    7.   
  
  
  
  7. #使用正则提取pnum字段信息 
    8.   
  
  
  
  8. pnum=re.findall(r'"pnum">(.*?)人<',html) 
    9.   
  
  
  
  9. #使用正则提取cycle字段信息 
    10.   
  
  
  
  10. cycle=re.findall(r'"cycle">(.*?)月<',html) 
    11.   
  
  
  
  11. #使用正则提取plnum字段信息 
    12.   
  
  
  
  12. p1num=re.findall(r'"p1num">(.*?)人<',html) 
    13.   
  
  
  
  13. #使用正则提取fuload字段信息 
    14.   
  
  
  
  14. fuload=re.findall(r'"fuload">(.*?)分钟<',html) 
    15.   
  
  
  
  15. #使用正则提取alltotal字段信息 
    16.   
  
  
  
  16. alltotal=re.findall(r'"alltotal">(.*?)万<',html) 
    17.   
  
  
  
  17. #使用正则提取captial字段信息 
    18.   
  
  
  
  18. capital=re.findall(r'"capital">(.*?)万<',html) 
    19.

查看其中一个字段的信息，这里我们查看平台名称title的提取结果。

 
 
 
 
      
  
  
  
  1. #查看title字段信息 
    2.   
  
  
  
  2. title 
    3.

到这里***阶段的数据爬取工作完成了，现在我们有9个字段的数据，在下一阶段中我们将连接MySQL数据库，并将这9个字段的数据写到数据库里。

2，连接MySQL数据库写入并读取数据

在第二阶段，我们使用python的pymysql库连接MySQL数据库。如果你是***次使用这个库需要先通过pip install pymysql进行安装，然后导入pymysql库文件。

 
 
 
 
      
  
  
  
  1. #导入pymysql库 
    2.   
  
  
  
  2. import pymysql 
    3.

首先连接MySQL数据库，这里需要输入数据库的ip地址，用户名，密码，数据库名称，端口号等信息。我在这里只简单些了ip地址，用户名和数据库名称。每个参数的内容请按你数据库的实际信息进行填写。

 
 
 
 
      
  
  
  
  1. #打开数据库连接 
    2.   
  
  
  
  2. db = pymysql.connect("192.168.0.1","root","","shuju_test" ) 
    3.

使用 cursor()创建一个游标对象

 
 
 
 
      
  
  
  
  1. # 使用 cursor() 方法创建一个游标对象 cursor 
    2.   
  
  
  
  2. cursor = db.cursor() 
    3.

在数据库中创建一个包含9个字段的数据表，用于写入数据。这里具体分为两步，***步写出创建数据表的SQL语句。第二步使用execute()执行SQL语句

 
 
 
 
      
  
  
  
  1. #创建一个表 
    2.   
  
  
  
  2. sql1 = "CREATE TABLE wdty7( title varchar(255), total varchar(255), rate varchar(255), people_num varchar(255), cycle  
    3.   
  
  
  
  3. varchar(255), people_lend_num varchar(255), full_load varchar(255), all_total varchar(255), capital varchar(255)) " 
    4.   
  
  
  
  4.   
    5.   
  
  
  
  5. # 使用 execute() 方法执行 SQL 语句 
    6.   
  
  
  
  6. cursor.execute(sql1) 
    7.

创建完数据表后，开始写入数据，这里我们使用for循环向数据表中逐条写入9个字段的数据。

 
 
 
 
      
  
  
  
  1. #向表中创建新的记录 
    2.   
  
  
  
  2. for i in range(len(title)): 
    3.   
  
  
  
  3. sql="INSERT INTO `wdty6`(`title`, `total`, `rate`, `people_num`, `cycle`, `people_lend_num`, `full_load`, `all_total`,  
    4.   
  
  
  
  4. `capital`)VALUES ( %s, %s, %s, %s, %s, %s, %s, %s, %s);" 
    5.   
  
  
  
  5. values=(title[i].encode("utf-7").decode("latin1"),total[i],rate[i],pnum[i],cycle[i],p1num[i],fuload[i],alltotal  
    6.   
  
  
  
  6. [i],capital[i]) 
    7.   
  
  
  
  7. cursor.execute(sql,values) 
    8.   
  
  
  
  8. db.commit() 
    9.

创建一个查询语句并使用execute()方法执行查询。

 
 
 
 
      
  
  
  
  1. #设置查询语句 
    2.   
  
  
  
  2. sql1="SELECT * FROM wdty6 where cycle>0.6;" 
    3.   
  
  
  
  3.   
    4.   
  
  
  
  4. # 使用 execute() 方法执行 SQL 查询  
    5.   
  
  
  
  5. cursor.execute(sql1) 
    6.

使用fetchall()获取刚才写入的所有9个字段的数据，并保存在data中。

 
 
 
 
      
  
  
  
  1. #使用fetchall()方法获取所有数据 
    2.   
  
  
  
  2. data = cursor.fetchall() 
    3.

将data中的数据转为pandas的DataFrame格式。

 
 
 
 
      
  
  
  
  1. #将获取数据 
    2.   
  
  
  
  2. import pandas as pd 
    3.   
  
  
  
  3. columns=["title", "total", "rate", "people_num", "cycle", "people_lend_num", "full_load", "all_total", "capital"] 
    4.   
  
  
  
  4. df = pd.DataFrame(list(data),columns=columns) 
    5.

查看从数据库中提取的数据，这里有个问题，平台名称title字段中的中文在写入数据库后变成了乱码，应该是编码转换的问题。目前还没有找到解决办法。如有知道解决办法的朋友请赐教。

 
 
 
 
      
  
  
  
  1. #查看数据表  
    2.   
  
  
  
  2. df.head() 
    3.

***，完成所有操作后关闭数据库的连接。

 
 
 
 
      
  
  
  
  1. # 关闭数据库连接 
    2.   
  
  
  
  2. db.close() 
    3.

当前名称：使用Python连接MySQL数据库
网页地址：http://www.gawzjz.com/qtweb2/news13/4363.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

标签优化知识

分类信息网

德阳服务器托管　　 　成都网站设计　　 　简阳电信机房　　 　企业网站设计　　 　网站空间　　 　广汉做网站　　 　品牌网站建设　　 　成都帛金建站　　 　成都网页设计　　 　微信小程序开发　　 　成都网站设计　　 　网站开发　　 　卖友情链接　　 　SSL证书　　 　光华村机房　　 　新都网站建设　　 　成都小程序开发　　 　成都网站设计公司　　 　禾巨建站　　 　自动门