广州双城热恋创意文化传播有限公司

现在的位置: 主页 > 联系方式 > 文章列表

文章正文

一入python深似海--小爬虫

作者:广州双城热恋创意文化传播有限公司 来源:www.999loveyou.com 发布时间:2017-09-06 10:21:43
一入python深似海--小爬虫

一个从百度贴吧,爬取图片的例子。

urllib,urllib2,站群软件,re

函数

page=urllib.urlopen('http://...') 返回一个网页对象

html=page.read() 读取网页的html源码

urllib.urlretrieve() 下载资源到本地

代码 #coding:utf8 import re import urllib def getHtml(url): page=urllib.urlopen(url) html=page.read() return html def getImgUrl(html): reg=r'src="(.*?\.jpg)"'#?非贪婪匹配,()分组只返回分组结果,外单引号内双引号 imgre=re.compile(reg)#编译正则表达式,加快速度 imglist=re.findall(imgre,html) return imglist url="http://tieba.baidu.com/p/3162606526"#贴吧地址 html=getHtml(url) ImgList=getImgUrl(html) ImgList= ImgList[1:10]#取前10个下载 print ImgList x=0 for imgurl in ImgList: urllib.urlretrieve(imgurl,'%s.jpg' %x) x+=1

企业建站2800元起,携手武汉肥猫科技,做一个有见地的颜值派!更多优惠请戳:神农架网站制作 http://shennongjia.666rj.com

COPYRIGHT © 2015 广州双城热恋创意文化传播有限公司 ALL RIGHTS RESERVED. 网站地图 技术支持:肥猫科技
精彩专题:网站建设
购买本站友情链接、项目合作请联系客服QQ:2500-38-100