import requests
'''
get和post封装的方法，如果是要爬取的网址可以直接从浏览器中打开，可以利用
如果须要类似于 登录 的时候只管即便不要利用封装，须要登录的网址，常日须要cookie，
我们封装的，每次建立连接都会产生一次新的会话，cookie随意马虎丢失
'''
def get(url,params=None,cookie=None,header=None, verify=False,proxies=None):
# 建立session
# 设置要返回的内容，以字典形式存在
session = requests.session()
ret={}
ret['issuccess']=False
try:
# 判断参数、cookie、header、verify是否存在
if params:
session.params = params
if cookie:
session.cookies = cookie
if header:
session.headers = header
if verify==True:
session.verify=verify
if proxies:
session.proxies = proxies
# 发送要求
rets = session.get(url,verify=verify)
if rets:
# 如果要求的数据是正常相应的，返回相应的数据
ret['issuccess']=True
ret['message']=rets.content
except Exception, e:
print e.message
finally:
if session:
session.close()
return ret
def post(url,data,params=None,cookie=None,header=None, verify=False,proxies=None):
# 建立会话
session = requests.session()
# 设置返回内容
ret = {'issuccess':False}
try:
if params:
session.params = params
if cookie:
session.cookies = cookie
if header:
session.headers = header
if verify == True:
session.verify = verify
if proxies:
session.proxies = proxies
rets = session.post(url=url,data=data,timeout=20,verify=verify)
if rets:
ret={'issuccess':True,'message':rets.content}
except Exception,e:
print e.message
finally:
if session:
session.close()
return ret
