如何去除爬取网站数据中的转义字符？

如何去除爬取网站数据中的转义字符？

针对问题中出现的 “<!– headline start –>” 和 “</p>” 等转义字符，可以通过以下方法将其去除：

1.使用正则表达式：

import re

html = "<p style=\"width: 100%;\">(.*)&lt;/p&gt;"
dr = re.compile(r'&lt;[^&gt;]+&gt;', re.s) 
contant =re.findall(findcontant1, item)
if len(contant) &lt;= 0:
    contant = re.findall(findcontant2, item)
contant = dr.sub('', str(contant))

2.使用beautifulsoup进行解析：

from bs4 import BeautifulSoup
import re

html = "<p style=\"width: 100%;\">(.*)&lt;/p&gt;"
soup = BeautifulSoup(html, "html.parser")
contant = soup.find('p').text

经过上述处理，即可去除转义字符，获得干净的文本内容。

理论要掌握，实操不能落！以上关于《如何去除爬取网站数据中的转义字符？》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注公众号吧！