BeautifulSoup是一个html解析器；您还需要一个Javascript解析器。顺便说一句，某些javascript对象文字是无效的json（尽管在您的示例中，文字也是有效的json对象）。
在简单的情况下，您可以：
<script>
使用html解析器提取文本- 假设这
window.blog...
是一行或';'
对象内部没有任何内容，并使用简单的字符串 *** 作或正则表达式提取javascript对象文字 - 假设该字符串是有效的json并使用json模块对其进行解析
例：
#!/usr/bin/env pythonhtml = """<!doctype html><title>extract javascript object as json</title><script>// ..window.blog.data = {"activity":{"type":"read"}};// ..</script><p>some other html here"""import jsonimport refrom bs4 import BeautifulSoup # $ pip install beautifulsoup4soup = BeautifulSoup(html)script = soup.find('script', text=re.compile('window.blog.data'))json_text = re.search(r'^s*window.blog.datas*=s*({.*?})s*;s*$',script.string, flags=re.DOTALL | re.MULTILINE).group(1)data = json.loads(json_text)assert data['activity']['type'] == 'read'如果假设不正确，则代码将失败。
为了放松第二个假设，可以使用Javascript解析器代替正则表达式，例如，
slimit（由@approximatenumber建议）：
from slimit import ast # $ pip install slimitfrom slimit.parser import Parser as JavascriptParserfrom slimit.visitors import nodevisitorsoup = BeautifulSoup(html, 'html.parser')tree = JavascriptParser().parse(soup.script.string)obj = next(node.right for node in nodevisitor.visit(tree)if (isinstance(node, ast.Assign) and node.left.to_ecma() == 'window.blog.data'))# HACK: easy way to parse the javascript object literaldata = json.loads(obj.to_ecma()) # NOTE: json format may be slightly differentassert data['activity']['type'] == 'read'
无需将对象文字（
obj）视为json对象。为了获得必要的信息，
obj可以像其他ast节点一样递归访问。它将允许支持任意javascript代码（可由解析
slimit）。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）