LOFTER for ipad —— 让兴趣,更有趣

点击下载 关闭
Selenium在爬虫中的应用
compbio94 2017-07-10

最近比较闲一点,老板让我帮忙整理数据,某一天看到有一个数据查询的窗口(招生计划),湖某省的考试院网站,一般招生计划应该打印在书上买的,这样出版商就可以赚钱了。但是居然开放接口,让我们去访问它的数据库,所以这是一次机会。所以我写了一个很多bug的脚本,尝试爬了它的数据,嗯,一锅端。3万多数据而已。

比较简单,使用selenium调用phantomjs直接访问网站,

通过find_element_by_name()获取输入标签,输入数据后点击summit button,

通过find_element_by_xpath()选择下拉框。

链接数据库,使用pymysql。


所以,拿了这么多数据

                                                                                         陈浩杰

                                                                                       2017.7.10


推荐文章
评论(0)
联系我们|招贤纳士|移动客户端|风格模板|官方博客|侵权投诉 Reporting Infringements|未成年人有害信息举报 0571-89852053|涉企举报专区
网易公司版权所有 ©1997-2024  浙公网安备 33010802010186号 浙ICP备16011220号-11 增值电信业务经营许可证:浙B2-20160599
网络文化经营许可证: 浙网文[2022]1208-054号 自营经营者信息 工业和信息化部备案管理系统网站 12318全国文化市场举报网站
网信算备330108093980202220015号 网信算备330108093980204230011号
分享到
转载我的主页