0
私のクローラで戦略パターンを実装しようとしているので、異なるWebサイトをクロールするためのさまざまな戦略を使用するのがうまくいくと思います。だから私はpage.evaluate
の中の何が現在実行中のウェブサイトによって異なるかを知りたい。 page.evaluate内のコメント付きコードは機能しますが、これを関数に取り出す方法はありますか?私はthis.findJobs()
を成功させようとしました。phantomjsの戦略パターンを使用する
"use strict";
var Crawler = function() {
this.page = require('webpage').create();
this.website = "";
this.jobs_list = [];
};
Crawler.prototype.setStrategy = function(company) {
this.website = company;
};
Crawler.prototype.findJobData = function() {
return this.website.findJobData();
};
Crawler.prototype.collectJobData = function() {
var page = require('webpage').create();
page.onConsoleMessage = function(msg) { console.log(msg) };
page.open('URL', function (status) {
page.includeJs("https://ajax.googleapis.com/ajax/libs/jquery/3.1.0/jquery.min.js", function() {
var temp_jobs = page.evaluate(this.findJobs());
/*
var jobs = [];
var job;
$('ul.job-list').each(function(){
$(this).find('li').each(function(){
var job_link = $(this).find('a');
var url = "URL" + job_link.attr("href");
var location = $(this).find('span').text();
job = {title: job_link.text(), url: url, location: location, description: ""}
jobs.push(job);
console.log(job.title, job.url, job.location);
})
});
return jobs;*/
console.log(temp_jobs[0].title)
phantom.exit(0);
});
});
};
var strategy_a = function() {
this.findJobs = function() {
var jobs = [];
var job;
$('ul.job-list').each(function(){
$(this).find('li').each(function(){
var job_link = $(this).find('a');
var url = "URL" + job_link.attr("href");
var location = $(this).find('span').text();
job = {title : job_link.text(), url : url, location : location, description : ""};
jobs.push(job);
console.log(job.title, job.url, job.location);
})
});
return jobs;
};
};
var strategy_a = new strategy_a();
var crawler = new Crawler();
crawler.setStrategy(strategy_a);
crawler.collectJobData();
私はあなたのコードを実行したときに、私は次のエラーを取得する:/例外TypeError:2 :3 – Pierre
あなた 'Crawler.prototype.findJobData'機能未定義は未定義( 'this.website.findJobs' を評価)オブジェクト ではありません特定の 'findJobs'関数がページコンテキストで直接動作するように設定されなければならないので、無駄です。 'findJobData'を使うと' findJobs'のためのプロキシーを行うことはできません。なぜなら、 'page.evaluate'はサンドボックス化されており、ページコンテキスト外の参照を許さないからです。とにかく、私は答えを決めました。 –
説明をありがとう。 – Pierre