如果你想提取网页上的文章内容，readability这个免费好用的工具绝对值得一试
官网：https://www.readability.com/
提取内容的api文档：https://www.readability.com/developers/api/parser
注册一下，在个人页面可以找到你自己的token
API - GET请求，带上token和url参数
https://www.readability.com/api/content/v1/parser?token=your_token&url=url_you_want_to_parse
响应示例---json格式返回数据
响应
来看个中文的
随便一篇网易博客
content部分就是提取的网页内容了，将其写入html文件，可以直接打开显示网页内容
如果你只是为了提取和保存内容，到这里就可以了。
如果你需要得到网页内容，并进行一些处理，那可能就得把&#x开头的内容转换成中文了&#x开头的是什么编码？，可能需要进行以下操作
# 去掉content中的html标记
def remove_html_tag(content):
return re.sub(r'</?\w+[^>]*>', '', content)
# 转换成中文
def convert_to_cn(text):
# 需要将 × 这种先做补全，×
text = re.sub(r'&#x([A-F0-9]{2});', r'�\1;', text)
return text.replace('&#x', '\u') \
.replace(';', '') \
.decode('unicode-escape') \
.encode('utf-8')
