前言
大家好,我是IT小伙伴。
牛跑了熊来了,最近基金股票可谓一片绿油油,与其听取别人哪个基金更好,不如自己爬一爬数据一探究竟。整理了python爬数据的方法,希望对大家有用。
一、本文涉及到的知识点:
1、python字符串:分割、拼接、中文字符判断;
2、python正则表达式;
3、爬虫requests请求库、xpath获取数据、代理服务器;
4、selenium用法:无头浏览器、元素定位、显式等待、数据获取;
5、python操作mongodb
二、网站分析
代码和数据我们到后面再贴上,先来分析下目标网站,这样有利于我们爬取过程更加清晰;
目标网站:开放式基金排行_天天基金网
我们爬取的就是里的数据:
我们随便点开一个基金,就可以进入其详情页面,不知道你发现没有,该基金详情页面的url就是首页该基金的基金代码和