通过nokogiri模块实现抓取猎聘网指定地区的某一岗位的招聘信息数据。地区数据暂时有一些问题还没有解决。
class LiePin
attr(:site_url)
def initialize(site_url)
@site_url = site_url
end
require 'open-uri' # 打开http网络中的地址
require 'nokogiri' # 解析html代码
require 'uri' # 编码url参数
require 'json'
def get_areas
# 读取地址数据有问题 暂时没解决
areas = JSON.parse open('https://concat.lietou-static.com/core/pc/revs/js/common/plugins/localdata/city_86e117e1.js').read.to_s.gsub('var __LocalDataCities=','').gsub(';','').gsub("\n","").gsub("\r","")
# areas = JSON.parse open('./area.json').read.to_s.gsub("\n","")
p areas
# 把数据写入文件 读取依然有问题
#f = open('./area.json','w')
#f.print areas.gsub("\n","")
#f.close
#p JSON.parse areas
end
# 执行数据抓取
# params @area [搜索的地区编码,可以从数据文件中提取,暂时没有实现此功能(由于数据文件中存在问题)]
# params @key [查询的关键字]
def spider_html(area,key)
urls = []
page_count = 1 # 总页数
page = 0 # 开始页码
#area = '090040' # 搜索的地址信息 地址编码暂时只能手动进行获取
#key = '前端' # 搜索关键字
all_data = [] # 所有的数据
# 获取总的查询记录页数
first_page =URI.escape("#{site_url}dqs=#{area}&key=#{key}")
first_page_doc = Nokogiri::HTML(open(first_page))
page_count = first_page_doc.css('.pager .last').attr('href').content.split('=').last.to_i
# 读取分页页码数据结束
while page<=page_count do
page += 1
urls.push URI.escape("#{@site_url}dqs=#{area}&key=#{key}&curPage=#{page-1}") # 编码中文参数
end
p '请求的地址数据为:'
p urls
# 遍历所有的分页数据 获取招聘信息
urls.each do |url|
doc_html = Nokogiri::HTML(open(url))
doc_html.css('.sojob-item-main').each do |job|
job_info = job.css('.job-info')
company_info = job.css('.company-info')
data = {}
data["name"] = job_info.css('.job-name')[0].attr("title") # 岗位名字
data["link"] = job_info.css('a[data-promid]')[0].attr("href") # 详情链接
detail_doc = Nokogiri::HTML(open(data["link"])) # 读取岗位的详细信息
data["description"] = detail_doc.css('.main-message').first.css('.content').first.content.to_s.gsub(/\t|\n|\r|\s*/,"") # 描述信息
data["p"] = job_info.css('.text-warning')[0].content # 薪水
data["company"] = company_info.css('.company-name a')[0].content.gsub(/\t|\n|\r|\s*/,"") # 公司信息 正则替换 去除空格换行等字符
all_data.push data
p data
end
end
p all_data.count
end
end
# https://www.liepin.com/zhaopin/?industries=&dqs=090040&salary=&jobKind=&pubTime=&compkind=&compscale=&industryType=&searchType=1&clean_condition=&isAnalysis=&init=1&sortFlag=15&fromSearchBtn=1&headckid=null&key=%E5%89%8D%E7%AB%AF
# 初始化抓取信息 查找所有招聘地区为厦门的前端开发岗位
z = LiePin.new('https://www.liepin.com/zhaopin/?')
# p z.site_url
# p z.get_areas
# 获取厦门地区的前端招聘岗位信息
z.spider_html('090040','前端')