版权归作者所有,转载请注明出处
最近比较闲一点,老板让我帮忙整理数据,某一天看到有一个数据查询的窗口(招生计划),湖某省的考试院网站,一般招生计划应该打印在书上买的,这样出版商就可以赚钱了。但是居然开放接口,让我们去访问它的数据库,所以这是一次机会。所以我写了一个很多bug的脚本,尝试爬了它的数据,嗯,一锅端。3万多数据而已。
比较简单,使用selenium调用phantomjs直接访问网站,
通过find_element_by_name()获取输入标签,输入数据后点击summit button,
通过find_element_by_xpath()选择下拉框。
链接数据库,使用pymysql。
所以,拿了这么多数据
陈浩杰
2017.7.10