博客

如何使用PhantomJS模拟浏览器行为？

  • Post category:Python

PhantomJS是一个脚本化的无头浏览器，可以模拟用户在网站上的各种交互和行为。在Web应用程序的测试、爬虫和网页自动化等场景中具有广泛的应用价值。以下是使用PhantomJS模拟浏览器行为的完整攻略：

安装PhantomJS

在使用PhantomJS之前，需要先下载和安装它。可以到官方网站https://phantomjs.org/下载用于自己操作系统的相关版本，并解压至某个目录中。

编写脚本

在创建PhantomJS脚本之前，先要确定模拟的行为，如搜索某个关键词、点击某个按钮等。然后在脚本中以代码的方式实现这些行为。

以下是一个简单的PhantomJS脚本，用于访问百度，并搜索“PhantomJS”：

var page = require('webpage').create();

page.open('https://www.baidu.com', function(status) {
  console.log("Status: " + status);
  if(status === "success") {
    page.evaluate(function() {
      document.getElementById("kw").value = "PhantomJS";
      document.getElementById("su").click();
    });
    console.log("Page title is " + page.title);
  }
  phantom.exit();
});

该脚本首先创建一个Web页面对象，然后使用该对象的open()方法打开百度首页。在页面打开完成后，PhantomJS将执行回调函数，可以在回调函数中模拟用户的行为。在本例中，使用evaluate()方法访问DOM元素，找到搜索框并填入“PhantomJS”作为搜索关键词，再找到“百度一下”按钮并点击。最后，脚本将输出页面的标题并退出。

运行脚本

在命令行中进入PhantomJS的安装目录，执行以下命令来运行上述脚本：

phantomjs search.js

其中，search.js是脚本的文件名。执行命令后，PhantomJS将启动无头浏览器，并打开百度搜索框并搜索“PhantomJS”。

示例：爬虫

除了模拟交互事件以外，PhantomJS还可以用来爬取网页数据，以下是一个示例：

var page = require('webpage').create();

page.open('https://www.baidu.com/s?wd=PhantomJS', function(status) {
  if(status === "success") {
    var results = page.evaluate(function() {
      var resultList = [];
      var list = document.querySelectorAll("#content_left .result");
      for(var i=0; i<list.length; i++) {
        var title = list[i].querySelector("h3").innerText;
        var url = list[i].querySelector(".c-showurl")? list[i].querySelector(".c-showurl").innerText : "";
        var summary = list[i].querySelector(".c-abstract")? list[i].querySelector(".c-abstract").innerText : "";
        resultList.push({
          "title": title,
          "url": url,
          "summary": summary
        });
      }
      return resultList;
    });
    console.log(JSON.stringify(results, null, 4));
  }
  phantom.exit();
});

该脚本访问百度搜索“PhantomJS”，然后使用evaluate()方法访问DOM元素，找到搜索结果并提取标题、摘要和URL等信息。最终输出一个JSON格式的结果数组。

示例：网页自动化

PhantomJS还可以用来实现Web应用程序的自动化测试，以下是一个示例：

var page = require('webpage').create(),
    url = 'https://www.baidu.com/';

page.open(url, function(status) {
  if(status==='success') {
    page.evaluate(function() {
      document.getElementById('kw').value='PhantomJS';
      document.getElementById('su').click();
    });
    setTimeout(function () {
      console.log('Current page title is ' + page.evaluate(function () {
        return document.title;
      }));
    }, 5000);
  }
  phantom.exit();
});

该脚本访问百度首页，并在搜索框中填入“PhantomJS”，然后模拟点击“百度一下”按钮。在页面跳转完成后，等待5秒钟，再输出页面的标题。

以上就是使用PhantomJS模拟浏览器行为的完整攻略，通过学习以上的示例和技巧，相信你可以掌握PhantomJS，进而用它来实现你需要的各种自动化操作。

Tags: