python爬虫之selenium应用

概述Python爬虫之selenuim的应用这是一个最基本的爬虫selenium应用实战演练—爬取新浪微博网站这是一个最基本的爬虫selenium应用以下是应用谷歌浏览器打开百度搜索python的代码fromseleniumimportwebdriverdriver=webdriver.Chrome('D:\chromedriver_win32\chro

Python爬虫之selenuim的应用这是一个最基本的爬虫selenium应用实战演练—爬取新浪微博网站

这是一个最基本的爬虫selenium应用

以下是应用谷歌浏览器打开百度搜索python的代码

from selenium import webdriverdriver = webdriver.Chrome('D:\Chromedriver_win32\chromedriver.exe')driver.get('https://www.baIDu.com/')search_Box = driver.find_element_by_xpath('//*[@ID="kw"]')search_Box.send_keys('python')submit = driver.find_element_by_xpath('//*[@ID="su"]')submit.click()

实战演练—爬取新浪微博网站先导入需要模块并编写保存函数

from selenium import webdriverimport csvimport timedef csv_writer(item):    with open('weibo.csv', 'a', enCoding='gbk', newline='') as csvfile:        writer = csv.writer(csvfile)        try:            writer.writerow(item)        except:            print('写入失败')

编写登录新浪微博网站函数

驱动程序= webdriver 。Chrome （'D：\ Chromedriver_win32 \ chromedriver.exe' ）驱动程序。hIDdenly_wait （10 ）＃隐式等待10s def login （）：    驱动程序。获取（'https://weibo.com' ）    驱动程序。set_window_size （1920 ，1080 ）＃设置浏览器大小＃找到用户名输入框    的用户名=驱动器。find_element_by_xpath （'// * [@ ID =“ loginname”]'）    用户名。send_keys （“您的姓名” ）     userpassword = driver 。find_element_by_xpath （'// * [@ ID =“ pl_login_form”] / div / div [3] / div [2] / div / input' ）用户    密码。send_keys （“您的密码” ）     submit = driver 。find_element_by_xpath （'// * [@ ID = “pl_login_form”] / div / div [3] / div [6] / A' ）的打印（'准备登录......' ）    提交。点击（）＃预设登录```        ##  编写爬虫函数```python def spIDer （）：    驱动程序。获取（'https://weibo.com' ）     all_weibo = driver 。find_elements_by_xpath （ '// * [@ ID = “v6_pl_content_homeFeed”] / div / div [4] / div [1] / div [1]' ）为微博在all_weibo ：        的pub_ID =微博。find_elements_by_xpath （'div [4] / div [1] / a [1]' ）[ 0 ] 。文字        pub_ID_url =微博。     find_elements_by_xpath （'div [4] / div [1] / a [1]' ）[ 0 ] 。get_attribute （'href' ）         pub_content =微博。find_elements_by_xpath （'div [4] / div [4]' ）[ 0 ] 。文字        项=  [ pub_ID ， pub_ID_url ， pub_content ] print （'抓取成功' ）         csv_writer （ item ）```        ##  编写主函数```python def main （）：     login （）而True ：        蜘蛛（）        时间。睡觉（20 ）```      

总结

以上是内存溢出为你收集整理的python爬虫之selenium应用全部内容，希望文章能够帮你解决python爬虫之selenium应用所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。