爬虫课程作业02-解密大数据社群

作业要求:

选择简书解密大数据专题里面上次爬虫课的作业文档地址作为分析页面,分析并提交该页面的网页结构分析与元素标签位置信息。

上次作业链接 http://www.jianshu.com/p/7e2fccb4fad9

HTML基本结构

HTML基本结构.png

网页基本结构图

爬虫课程作业01-解密大数据社群 - 简书-标注版.png

head 区域

网页标题

<title>爬虫课程作业01-解密大数据社群 - 简书</title>

顶部导航栏

|<a class="logo" href="/">

| </a>

写文章

| <a class="btn write-btn" target="_blank" href="/writer#/">
| <i class="iconfont ic-write"></i>写文章
| </a>

发现、关注、消息和搜索四个按钮

<div class="collapse navbar-collapse" id="menu">
<ul class="nav navbar-nav">
<li class="">
<a href="/">
<span class="menu-text">发现</span><i class="iconfont ic-navigation-discover menu-icon"></i>
</a> </li>
<li class="">
<a href="/subscriptions">
<span class="menu-text">关注</span><i class="iconfont ic-navigation-follow menu-icon"></i>
</a> </li>
<li class="notification v-notification-dropdown-menu ">
<a class="notification-btn" href="/notifications" data-hover="dropdown">
<span class="menu-text">消息</span>
<i class="iconfont ic-navigation-notification menu-icon"></i>
<span class="badge"></span>
</a>
</li>
<li class="search">
<form target="_blank" action="/search" accept-charset="UTF-8" method="get"><input name="utf8" type="hidden" value="✓" />
<input type="text" name="q" id="q" value="" placeholder="搜索" class="search-input" />
<a class="search-btn" href="javascript:void(null)"><i class="iconfont ic-search"></i></a>

</form> </li>
</ul>
</div>
文章标题

<h1 class="title">爬虫课程作业01-解密大数据社群</h1>

作者信息

<div class="author">
<a class="avatar" href="/u/40cc6159e5ad">



</a> <div class="info">
<span class="tag">作者</span>
<span class="name"><a href="/u/40cc6159e5ad">在旅途的车</a></span>

文章基本信息,包括更新时间、字数、阅读数量、评论数量、喜欢数量等等

<div class="meta">

<span class="publish-time" data-toggle="tooltip" data-placement="bottom" title="" data-original-title="最后编辑于 2017.07.04 00:29">2017.07.04 00:26*</span>
<span class="wordage">字数 387</span>
<span class="views-count">阅读 33</span><span class="comments-count">评论 2</span><span class="likes-count">喜欢 2</span></div>

文章主体内容:

<div data-note-content="" class="show-content">
<div class="image-package">


<div class="image-caption">glenn-carstens-peters-203007.jpg</div>

</div>
<p>最近对金融行业的就业情况比较感兴趣,准备从领英网站获取一些数据,做一些分析。</p>
<p>一、要爬取的数据类别</p>
<p>领英网站金融行业的职位数据,包括公司名称、职位名称、薪酬范围、职位要求</p>
<p>二、对应的数据源网站</p>
<p>领英网址 www.linkedin.com</p>
<p>三、爬取数据的URL</p>
<p><a href="https://www.linkedin.com/jobs/search/?keywords=audit&location=%E5%85%A8%E7%90%83&locationId=OTHERS.worldwide" target="_blank">https://www.linkedin.com/jobs/search/?keywords=audit&location=%E5%85%A8%E7%90%83&locationId=OTHERS.worldwide</a></p>
<p>四、数据筛选规则</p>
<p>根据职位的类别、招聘公司、职位所在地域、职位对应工作年限的要求、发布日期、职位要求、薪酬范围等维度,对爬取的数据进行筛选和分析,希望获得以下结论:</p>
<p>某个特定职位的薪酬水平及变化趋势,判断该职位的稀缺程度和就业概率;</p>
<p>某个特定职位的地域分布情况,提供自己发展的区域选择参考依据;</p>
<p>某个特定职位在不同行业的分布情况,和对应的薪酬水平,以审计(audit)为例,该职位具备一定的行业共性,但是不同行业、同一个职位薪酬水平不同,可以为自己做职业转换提供参考;</p>
<p>某个特定职位的工作要求,为自己的职业发展和技能培训提供指导性意见。</p>

    </div>

侧边浮动按钮,主要包括回到顶部、文章投稿、收藏文章和分享文章四个功能:

<ul><li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="回到顶部"><a class="function-button"><i class="iconfont ic-backtop"></i></a></li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="文章投稿"><a class="js-submit-button"><i class="iconfont ic-note-requests"></i></a> </li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="收藏文章"><a class="function-button"><i class="iconfont ic-mark"></i></a></li> <li data-placement="left" data-toggle="tooltip" data-container="body" data-original-title="分享文章"><a tabindex="0" role="button" data-toggle="popover" data-placement="left" data-html="true" data-trigger="focus" href="javascript:void(0);" data-content="<ul class='share-list'>
<li><a class="weixin-share"><i class="social-icon-sprite social-icon-weixin"></i><span>分享到微信</span></a></li>
<li><a href="javascript:void((function(s,d,e,r,l,p,t,z,c){var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','', '我写了新文章《爬虫课程作业01-解密大数据社群》( 分享自 @简书 )','http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));"><i class='social-icon-sprite social-icon-weibo'></i><span>分享到微博</span></a></li>

            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='http://sns.qzone.qq.com/cgi-bin/qzshare/cgi_qzshare_onekey?url='+e('http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=qzone')+'&title='+e('我写了新文章《爬虫课程作业01-解密大数据社群》'),x=function(){if(!window.open(r,'qzone','toolbar=0,resizable=1,scrollbars=yes,status=1,width=600,height=600'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-zone'></i><span>分享到QQ空间</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://twitter.com/share?url='+e('http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=twitter')+'&text='+e('我写了新文章《爬虫课程作业01-解密大数据社群》( 分享自 @jianshucom )')+'&related='+e('jianshucom'),x=function(){if(!window.open(r,'twitter','toolbar=0,resizable=1,scrollbars=yes,status=1,width=600,height=600'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-twitter'></i><span>分享到Twitter</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://www.facebook.com/dialog/share?app_id=483126645039390&display=popup&href=http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=facebook',x=function(){if(!window.open(r,'facebook','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-facebook'></i><span>分享到Facebook</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,r='https://plus.google.com/share?url='+e('http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=google_plus'),x=function(){if(!window.open(r,'google_plus','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})();"><i class='social-icon-sprite social-icon-google'></i><span>分享到Google+</span></a></li>
            <li><a href="javascript:void(function(){var d=document,e=encodeURIComponent,s1=window.getSelection,s2=d.getSelection,s3=d.selection,s=s1?s1():s2?s2():s3?s3.createRange().text:'',r='http://www.douban.com/recommend/?url='+e('http://www.jianshu.com/p/7e2fccb4fad9?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=douban')+'&title='+e('爬虫课程作业01-解密大数据社群')+'&sel='+e(s)+'&v=1',x=function(){if(!window.open(r,'douban','toolbar=0,resizable=1,scrollbars=yes,status=1,width=450,height=330'))location.href=r+'&r=1'};if(/Firefox/.test(navigator.userAgent)){setTimeout(x,0)}else{x()}})()"><i class='social-icon-sprite social-icon-douban'></i><span>分享到豆瓣</span></a></li>
          </ul>" data-original-title="" title="" class="function-button"><i class="iconfont ic-share"></i></a> <!----></li></ul>

底部作者信息:

<div class="follow-detail">
<div class="info">
<a class="avatar" href="/u/40cc6159e5ad">



</a> <div data-author-follow-button=""></div>
<a class="title" href="/u/40cc6159e5ad">在旅途的车</a>
<p>写了 39662 字,被 26 人关注,获得了 35 个喜欢</p></div>
</div>

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容