我们先来看一下要爬取的数据，网址是http://data.10jqka.com.cn/funds/gnzjl/，通过chrome的开拓者工具剖析我们可以比较随意马虎找到后台数据加载网址为
http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/{page_num}/ajax/1/free/1/
个中page_num的位置为要查询第几页的数据，在网页上看到观点一共有6页数据，以是page_num取值为1-6
图示1
这里有个小技巧，可以先点击图示1左上角的清空按钮，把已经加载的网址先清理掉，然后在原始网页上点第二页，就能看到图片左下角新加载的网址，点开右边“Preview” 看到资金流数据干系的内容，就能确定这个网址是用来加载数据的。
在chrome浏览器中输入 http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/1/ajax/1/free/1/，并打开chrome开拓者工具，在网页源码中找到数据所在table标签为
<tableclass="m-tableJ-ajax-table">...</table>
抓取数据的完全源码如下
importtimeimportrequestsfrombs4importBeautifulSoupfromtaskflowimportenginesfromtaskflow.patternsimportlinear_flowfromtaskflow.taskimportTaskREQUEST_HEADER={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_14_2)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.97Safari/537.36'}classMoneyFlowDownload(Task):"""下载资金流数据数据源地址：http://data.10jqka.com.cn/funds/gnzjl/"""BASE_URl={"concept":'http://data.10jqka.com.cn/funds/gnzjl/field/tradezdf/order/desc/page/%s/ajax/1/free/1/',}defexecute(self,bizdate,args,kwargs):forname,base_urlinself.BASE_URl.items():#爬取数据的存储路径dt_path='/data/%s_%s.csv'%(bizdate,name)withopen(dt_path,"a+")asf:#记录数据文件确当前位置pos=f.tell()f.seek(0)lines=f.readlines()#读取文件中的全部数据并将第一列存储下来作为去重依据，防止爬虫意外中断后重动身序时，重复写入相同crawled_list=list(map(lambdaline:line.split(",")[0],lines))f.seek(pos)#循环500次，从第一页开始爬取数据，当页面没有数据时终端退出循环foriinrange(1,500):print("startcrawl%s,%s"%(name,base_url%i))web_source=requests.get(base_url%i,headers=REQUEST_HEADER)soup=BeautifulSoup(web_source.content.decode("gbk"),'lxml')table=soup.select('.J-ajax-table')[0]tbody=table.select('tbodytr')#当tbody为空时，则解释当前页已经没有数据了，此时终止循环iflen(tbody)==0:breakfortrintbody:fields=tr.select('td')#将每行记录第一列去掉，第一列为序号，没有存储必要record=[field.text.strip()forfieldinfields[1:]]#如果记录还没有写入文件中，则实行写入操作，否则跳过这行写入ifrecord[0]notincrawled_list:f.writelines([','.join(record)+'\n'])#同花顺网站有反爬虫的机制，爬取速度过快很可能被封time.sleep(1)if__name__=='__main__':bizdate='20200214'tasks=[MoneyFlowDownload('moneyflowdatadownload')]flow=linear_flow.Flow('thsdatadownload').add(tasks)e=engines.load(flow,store={'bizdate':bizdate})e.run()
实行程序后，在dt_path位置已经存储了观点的资金流数据，文件名为20200214_concept.csv，内容大致如下：
钛白粉,1008.88,6.29%,7.68,6.21,1.47,7,金浦钛业,10.04%,2.96磷化工,916.833,2.42%,37.53,34.78,2.75,28,六国化工,9.97%,4.08光刻胶,1435.68,2.40%,43.51,44.31,-0.80,20,晶瑞股份,10.01%,42.99
此时就完成了同花顺观点分类的资金流数据的爬取，之后可以每天定时启动任务抓取数据进行剖析。
