current position:Home>Python realizes downloading novels, picture chapters are automatically recognized and converted to text

Python realizes downloading novels, picture chapters are automatically recognized and converted to text

2022-11-08 07:04:45kaKA-Madoka

一、准备工作

1、环境使用

  • Python 3.8
  • Pycharm

2、模块使用

  • requests >>> 数据请求模块
  • parsel >>> 数据解析模块
  • re 正则表达式
    requests 是第三方模块,需要手动安装,在CMD里面进行安装 输入安装命令 pip install 模块名.如果平时下载模块慢,可以切换国内镜像源.

3、模块安装问题

安装python第三方模块最快捷的有两种方法

第一种: win + R 输入 cmd 点击确定,输入安装命令 pip install 模块名 (pip install requests) 回车.
第二种: 在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因

失败一

pip 不是内部命令

解决方法: 设置环境变量

失败二

出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源.

清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:https://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:https://pypi.hustunique.com/
山东理工大学:https://pypi.sdutlinux.org/
豆瓣:https://pypi.douban.com/simple/

例如:pip install -i https://pypi.doubanio.com/simple/ 模块名

失败三

cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入.

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好,或者你pycharm里面python解释器没有设置好.

4、如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python
    interpreter(python解释器)
  2. 点击齿轮, 选择add
  3. 添加python安装路径

5、pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
  2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
  3. 选择相应的插件点击 install(安装) 即可
  4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

请添加图片描述

二、案例思路/基本流程

1.分析我们想要数据内容来自于哪里

F12 开发者工具进行抓包分析,打开 F12 或者 鼠标右键点击检查 刷新网页,点击搜索按钮,输入搜索内容,点击回车找到数据包.
请求 https://b.faloo.com/631781_1.html 这个网址, 就可以得到我们想要小说内容.

2、代码实现步骤

  • 代码实现步骤
  • 发送请求, 模拟浏览器对于 https://b.faloo.com/631781_1.html 发送请求
  • 获取数据, 获取服务器返回响应数据 —> 开发者工具里面response
  • 解析数据,提取我们想要数据内容,小说章节名字
  • 保存数据,保存本地文件.

请添加图片描述

代码展示

源码点击领取即可

模块导入

# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
# 导入获取VIP章节代码
import Vip
# 导入图片文字识别代码
import spot
# 导入os模块
import os

发送请求

模拟浏览器对于 https://b.faloo.com/631781_1.html 发送请求
为什么使用的是 requests.get ?
根据开发者工具里面所看到请求方式, 浏览器是什么请求方式, 我们代码当中就使用什么请求方式
爬虫代码要伪装成浏览器发送请求
添加headers请求,你不加请求头, 不伪装, 你就会被识别出来你是爬虫程序, 从而得到你想要的内容,被反爬了.

python学习交流Q群:309488165 ### 源码领取
# 目录页url地址
link = 'https://地址我先屏蔽了,不然不给过com/631781.html'
# 请求头参数 ---> 在开发者工具复制粘贴的
# 复制这个替换掉上面地址中的中文 b.faloo
headers = {
    
    # User-Agent 表示浏览器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求 ---> <Response [200]> 响应对象
html_data = requests.get(url=link, headers=headers).text

# 目录页url地址
link = 'https://b.faloo.com/631781.html'
# 请求头参数 ---> 在开发者工具复制粘贴的
headers = {
    
    # User-Agent 表示浏览器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求 ---> <Response [200]> 响应对象
html_data = requests.get(url=link, headers=headers).text
# 转成可解析对象
selector = parsel.Selector(html_data)
# 获取小说名字
name = selector.css('#novelName::text').get()
# 获取所有章节url地址 ---> .DivTd a 还是定位标签 attr(href) 获取标签里面href属性
href = selector.css('.DivTd a::attr(href)').getall()[58:100]

获取数据

获取服务器返回响应数据 —> 开发者工具里面 response 响应文本数据 print(response.text)

for index in href:
    # 确定请求链接
    url = f'https:{index}'
    # 请求头参数 ---> 在开发者工具复制粘贴的
    headers = {
    
        # User-Agent 表示浏览器基本身份信息
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }
    # 发送请求 ---> <Response [200]> 响应对象
    response = requests.get(url=url, headers=headers)

解析数据

提取我们想要数据内容, 小说 小说章节名字
撤回 ctrl + z
得到的 response.text 响应文本数据 字符串数据类型 需要转换一下数据类型
解析方法: css选择器 —> 根据标签属性内容提取数据
css语法不会, 没有关系, 只要你会 ctrl + c / v

# 转成可解析对象
selector = parsel.Selector(response.text)
# 提取小说章节标题 --> .nr_center .c_left .c_l_title h1 css语法用于定位标签 ::text 获取标签文本内容
title = selector.css('.nr_center .c_left .c_l_title h1::text').get()
# 提取小说内容 --> 获取所有 getall
content_list = selector.css('div.noveContent p::text').getall()
if len(content_list) != 0:
    # 保存文本数据, 保存字符串数据类型 需要把列表转成字符串 str(content_list)强制转换
    content = '\n'.join(content_list)  # 用\n (换行符) 把 content_list (列表) 合并成一个字符串数据

保存数据, 保存本地文件

python学习交流Q群:309488165 ### 源码领取
    # 打开文件 进行保存
    with open(name + '.txt', mode='a', encoding='utf-8') as f:
        # 写入数据
        f.write(title)
        f.write('\n')
        f.write(content)
        f.write('\n')
        print('成功保存: ',title)
else:
    img_content = Vip.get_vip_img(link=url)
    with open('img\\' + title + '.png', mode='wb') as img_f:
        img_f.write(img_content)
        print('成功保存: ',title)

图片文字识别,返回文字内容

files = os.listdir('img\\')
for file in files:
    img_file = 'img\\' + file
    novel_title = file.replace('.png', '')

    novel_content = spot.get_vip_content(file=img_file)
    with open(name + '.txt', mode='a', encoding='utf-8') as f:
        # 写入数据
        f.write(novel_title)
        f.write('\n')
        f.write(novel_content)
        f.write('\n')

好了,今天的分享就到这里,全部代码下方名片获取.

对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/

请添加图片描述

copyright notice
author[kaKA-Madoka],Please bring the original link to reprint, thank you.
https://en.pythonmana.com/2022/312/202211080650173931.html

Random recommended