python检测网站链接是否已存在

python是一种解释型、面向对象、动态数据类型的高级程序设计语言。

python由guido van rossum于1989年底发明,第一个公开发行版发行于1991年。

像perl语言一样, python 源代码同样遵循 gpl(gnu general public license)协议。

早就听说python语言操作简单,果然名不虚传,短短几句,就实现了基本的功能。

要检测目标网站上是否存在指定的url,其实过程很简单:

1、获得指定网站网页的html代码

2、在html代码中查找指定的url

3、如果存在,ok;否则,error

整个程序引用了两个lib库,urllib2和sgmllib。

urllib2库主要定义了一些访问url(基本通过http)的函数与类。

sgmllib库主要负责解析html代码。

import urllib
from sgmllib import sgmlparser
class urllister(sgmlparser):
def reset(self):
sgmlparser.reset(self)
self.urls = []
def start_a(self,attrs):
href=[v for k,v in attrs if k==’href’]
if href:
if (href[].count(‘http://网站url’)==):
self.urls.extend(href)
links = [‘http://www.google.com/’,
‘http://www.baidu.com’,
‘http://www.sohu.net’,
‘http://www..com’,
‘http://www.cnblogs.com’,
‘http://www.qq.com’,
‘http://www.yahoo.com/’,
‘http://www.bing.com/’,
‘http://www..com’,]
for eachlink in links:
f = urllib.urlopen(eachlink)
if f.code ==:
parser = urllister()
parser.feed(f.read())
f.close()
if (len(parser.urls)>=):
print ‘the link from ‘+eachlink+’ is ok!’
else:
print ‘the link from ‘+eachlink+’ is error!’

这其中几个主要函数:

1、urllib2.urlopen(url[, data][, timeout])//打开一个url

2、sgmlparser.feed(data) //获得需要解析的html数据

3、sgmlparser.start_tag(attributes) //指定需要解析的html标签,在本程序中,我们调用了start_a,说明我们需要解析html代码中标签。通过查找标签中href属性的value,可以获得该网页上所有链接的信息,只要我们指定的url存在,就ok了。

这其实是一个很小的脚本,但也让我激动不已。一来,我已经跨进了python的世界,并用它解决了实际工作中的问题,二来,它的简单语法、缩进格式着实让我眼前一亮。今后,希望能够多多使用python,解决实际工作中的种种问题,做到学以致用.

以上内容是针对python检测网站链接是否已存在的相关介绍,希望对大家有所帮助!

Posted in 未分类

发表评论