Linux系统Python编程实践(四)——python3爬取数据     DATE: 2024-04-29 00:43:25

Linux系统Python编程实践(四)——python3爬取数据

摘要 :Python是程实一种面向对象的解释型计算机程序设计语言  ,具有丰富和强大的践p据库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的取数使用,包含怎么利用Python3爬取网站数据,程实怎么与Mysql数据库连接,践p据并将爬取古来的取数数据库保存打数据库中等内容。详细情况请参考下文 。程实

一 、践p据登录系统

1、取数登陆linux系统

Linux系统Python编程实践(四)——python3爬取数据

2 、查看默认的践p据Python

Linux系统Python编程实践(四)——python3爬取数据

备注 :按Ctrl+D或者执行命令exit()、quit()可以退出python。取数

二 、程实Mysql数据库创建数据表

1 、践p据登陆数据库

Linux系统Python编程实践(四)——python3爬取数据

2、创建数据表

执行指令创建数据表iciba_daily_sentence 。执行效果如下

Linux系统Python编程实践(四)——python3爬取数据

三、Python3爬取网站数据

1 、安装Python3爬取工具包

Python爬取数据使用到的模块有json,pymysql和requests模块 ,json是python自带的,pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

Linux系统Python编程实践(四)——python3爬取数据

执行pip3指令安装requests模块。如下图

Linux系统Python编程实践(四)——python3爬取数据

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

Linux系统Python编程实践(四)——python3爬取数据

备注 :代码中的JSON字段解释如下:

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片 ,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

Linux系统Python编程实践(四)——python3爬取数据

3 、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

Linux系统Python编程实践(四)——python3爬取数据