python爬虫_入门_翻页

<span >import<span > urllib
<span >import<span > urllib2
<span >import<span > re

<span >#<span >处理地址，并获取页面全部的图片地址
<span >def<span > get_image_url(url):
<span >#<span >url_format = urllib2.Request(url) #1
url_open = urllib.urlopen(url) <span >#<span >2
url_read = url_open.read() <span >#<span >3
re_value = re.compile(<span >'<span >(?<=src\=\").*?.jpg<span >'<span >)
imageurlList = re.findall(re_value,url_read) <span >#<span >4
<span >return<span > imageurlList

<span >#<span >这个函数专门用来下载，前面两行是将图片连接中/前面的内容全部删除，留下后面的文件名用来保存文件的，try不说了，不清楚请翻回去看容错
<span >def<span > down_image(image_url):
rev = <span >'<span >^.*/<span >'<span >
file_name = re.sub(rev,<span >''<span >,image_url)
<span >try<span >:
urllib.urlretrIEve(image_url,file_name)
<span >except<span >:
<span >print <span >'<span >download %s fail<span >' %<span >image_url
<span >else<span >:
<span >print <span >'<span >download %s successed<span >' %<span >image_url

<span >#<span >这个函数用来处理页面，每次+1
<span >def<span > get_page(url):
url_num = re.search(<span >'<span >(?<=\/)[0-9]+(?=.)<span >'<span >,url)
url_num =<span > url_num.group()
url_num_1 = int(url_num) + 1<span >
url =<span > url.replace(url_num,str(url_num_1))
<span >return<span > url

<span >if <span >name == <span >'<span >main<span >'<span >:
url = <span >'<span >http://bbs.fengniao.com/forum/10384633.HTML<span >'
<span >for n <span >in range(1,10<span >):
url =<span > get_page(url)
imageurlList =<span > get_image_url(url)
<span >for image_url <span >in<span > imageurlList:
down_image(image_url) <span >#<span >5

其实可以给传两个参数，一个是URL另一个是递增的数值，就变成了get_page(url,n)，但是我没有这么写，可以思考下为什么，如果把for n in range(1,10)改成while True会怎样？嘿嘿......回头人家封你IP可别找我啊

以上是内存溢出为你收集整理的python爬虫_入门_翻页全部内容，希望文章能够帮你解决python爬虫_入门_翻页所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。