爬虫

import re
import urllib.request

start_url = 'http://49.232.208.237/zs/'

def get_source(url):
    """
    获取网页源代码。
    :param url: 网址
    :return: 网页源代码
    """
    html = urllib.request.urlopen(url)          # 获取URL页面源代码
    return html.read().decode('UTF-8')          # 网站编码


def getPageList(html):
    """
    获取页码列表和页码链接
    :param html: 页面源代码
    :return: 每页链接和页标题
    """
    pageListLink = []
    toc_block = re.findall('<div>(.*?)</div>', html, re.S)[0]   # 提取所有页列表
    pageTitle = re.findall('.html">(.*?)</a>', html, re.S)      # 提取页标题
    urls = re.findall('href="(.*?)"', toc_block, re.S)          # 提取页面链接
    for url in urls:
        pageListLink.append(start_url + url)                    # 组合链接存入列表
    return pageTitle, pageListLink


def getJobInto(html):
    """
    或缺每页的信息列表
    :param html: 页面源代码
    :return: 列表信息
    """
    jobs = []
    JobInto = re.findall('<div data-v-6c88a070="" class="jobP-info">(.*?)</a></section>', html, re.S)    # 匹配所有工作信息
    for job in JobInto:         # 遍历每一个工作,提取工作的详细信息
        into=[]                 # 提取工作的信息存入此列表
        title = re.search('class="job-name fl">(.*?)</div>', job, re.S).group(1)    # 提取标题
        salary = re.search('class="fl">(.*?)</div>', job, re.S).group(1)            # 提取薪资
        city = re.search('class="ads">(.*?)</span>', job, re.S).group(1)            # 提取城市
        company = re.search('class="comp-name fl">(.*?)</div>', job, re.S).group(1) # 提取公司
        time = re.search('class="time fr">(.*?)</div>', job, re.S).group(1)         # 提取时间
        into.append(title)          # 将每个信息加入到列表
        into.append(salary)
        into.append(city)
        into.append(company)
        into.append(time)
        jobs.append(into)           # 将整理出来的工作信息加入到jobs列表
    return jobs                     # 每个工作的信息都以列表形式存入到jobs列表里,返回该jobs列表


def save(allJob, title):
    """
    将每一章保存到本地。
    :param allJob: 工作列表
    :param title: 页面标题
    :return: None
    """
    with open('c:\\Users\\ShacoZ\\Desktop\\' + title + '.txt', 'w', encoding='utf-8') as f:
        for jobs in allJob:                     # 遍历所有工作信息,写入到文件
            f.write("标题:"+jobs[0]+'\n')
            f.write("薪水:"+jobs[1]+'\n')
            f.write("城市:"+jobs[2]+'\n')
            f.write("公司:"+jobs[3]+'\n')
            f.write("发布时间:"+jobs[4]+'\n')
            f.write('--------------------------------------------------------------------')
            f.write('\n')

if __name__ == '__main__':
    page = get_source(start_url)                # 获取主页源代码
    title, pages = getPageList(page)            # 获取页面标题和页面链接
    for (job,tit) in zip(pages,title):          # 遍历链接和标题
        alljob = getJobInto(get_source(job))    # 将链接的页面源代码传给获取工作页面的函数,并返回所有工作列表
        save(alljob, tit)                       # 将整理出来的工作列表传给写入文件函数


import re
import urllib.request

start_url = 'http://49.232.208.237/zd/'

def get_source(url):
    """
    获取网页源代码。
    :param url: 网址
    :return: 网页源代码
    """
    html = urllib.request.urlopen(url)          # 获取URL页面源代码
    return html.read().decode('UTF-8')          # 编码网页


def getPageList(html):
    """
    获取页码列表和页码链接
    :param html: 目录页源代码
    :return: 每页链接
    """
    pageNumberLink = []
    pageLink = re.findall('class="listhref" href="(.*?)">', html, re.S)   # 提取所有页面链接
    pageTitle = re.findall('.html">(.*?)</a>', html, re.S)                # 页码文字
    for url in pageLink:
        pageNumberLink.append(start_url + url)                            # 将链接组合
    return pageTitle, pageNumberLink                                      # 返回链接列表和页面标题


def getBlogInto(html):
    """
    或缺每页的信息列表
    :param html: 正文源代码
    :return: 列表信息
    """
    blogs = []

    blogInto = re.findall('item project-item">(.*?)</div>\s*</div>', html, re.S)    # 获取页面所有文章列表
    for blog in blogInto:               # 遍历文章列表,提取文章信息
        into=[]
        if re.search('<span class="project-name">(.*?)</span>', blog, re.S):      # 判断是否能匹配到,匹配不到则设置为空串
            protect = re.search('<span class="project-name">(.*?)</span>', blog, re.S).group(1)     # 匹配到项目名信息(标题1)
        else:
            protect = ''
        if re.search('project-title">(.*?)</span>', blog, re.S):
            title = re.search('project-title">(.*?)</span>', blog, re.S).group(1)           # 标题2
        else:
            title = ''
        if re.search('data-tooltip="国产">(.*?)</div>', blog, re.S):
            domestic = re.search('data-tooltip="国产">(.*?)</div>', blog, re.S).group(1)      # 是否是国产
        else:
            domestic = ''
        if re.search('line-clamp">(.*?)</p>', blog, re.S):
            text = re.search('line-clamp">(.*?)</p>', blog, re.S).group(1)              # 匹配正文
        else:
            text = ''
        if re.search('<div class="item">(.*?)</div>', blog, re.S):
            collection = re.search('<div class="item">(.*?)</div>', blog, re.S).group(1)    # 收藏数
        else:
            collection = ''
        if re.search('target="_blank">(.*?)</a>', blog, re.S):
            comment = re.search('target="_blank">(.*?)</a>', blog, re.S).group(1)           # 评论
        else:
            comment = ''
        if re.search('更新于 (.*)',blogInto[8],re.S):
            time = re.search('更新于 (.*)',blogInto[8],re.S).group(1)              # 更新时间
        else:
            time = ''

        into.append(protect)            # 将匹配的信息加入到信息列表
        into.append(title)
        into.append(domestic)
        into.append(text)
        into.append(collection)
        into.append(comment)
        into.append(time)
        blogs.append(into)          # 将单个文章信息列表加入到总列表里

    return blogs                    # 返回所有文章信息


def save(Blogs, title):
    """
    将每一章保存到本地。
    :param Blogs: 文章列表
    :param title: 页码标题
    :return: None
    """
    with open('c:\\Users\\ShacoZ\\Desktop\\' + title + '.txt', 'w', encoding='utf-8') as f:
        for Blog in Blogs:
            f.write("标题:"+Blog[0])
            f.write(Blog[1]+'\n')
            if Blog[2]!='':                         # 如果存在国产字段则写入国产,否则不写入
                f.write("国产:"+Blog[2]+'\n')
            f.write("正文:"+Blog[3]+'\n')
            f.write(Blog[4]+'\n')
            f.write(Blog[5] + '\n')
            f.write("更新时间:" + Blog[6] + '\n')
            f.write('--------------------------------------------------------------------')
            f.write('\n')

if __name__ == '__main__':
    page = get_source(start_url)                # 获取主链接源代码
    title, pages = getPageList(page)            # 匹配页码列表和列表链接
    for (job,tit) in zip(pages,title):
        allBlog = getBlogInto(get_source(job))  # 遍历链接和页码标题,提取每页的所有文章信息
        save(allBlog, tit)                      #  将文章信息列表传给写入文件函数


推荐阅读更多精彩内容