並列化を使用してforeach（）で残りのAPIを呼び出せません

Question

オンラインAPIからデータをロードしています。データにはページが付けられているため、連続して呼び出しを行う必要があります。

したがって、出力を最終的にrbind（）する並列化されたforeach（）ループを設定しました。ここで

はコードです：

library('foreach') 
    library('parallel') 
    library('jsonlite') 

    registerDoMC(cores = parallel::detectCores()) 

    data <- foreach(page = 1:10, .combine = rbind) %dopar% { 

     raw.data <- fromJSON(paste(endpoint, '&page=', page, sep ='')) 

     raw.data <- raw.data$results 

     data.piece <- raw.data[c('id', 'scraper', 'title', 'text', 'ts', 'url', 'pertinence', 'source')] 

     data.piece 
    } 

エンドポイントは、REST URLです。

ループはNULLを返し、さらにすぐに実行されます（各呼び出しには数秒が必要です）。

したがって、呼び出しがスキップされたようです。同じコードを並列に実行しないと、問題なく動作します。

Answer 1

私は似たような状況にぶつかって、次の自分の状況に私のコードを生成する適応：

library(jsonlite) 
library(dplyr) 
library(foreach) 
library(doParallel) 

fetch.data <- function(page) { 
    # confirm the url you are fetching data from ... 
    url = 'http://api.paginated/?page=' 
    endpoint = paste0(url, page) 
    print(paste0('fetching data for => ', endpoint)) 
    raw.data <- fromJSON(endpoint, flatten = TRUE) 
    raw.data 
} 


no_cores <- detectCores() 
cluster <- makeCluster(no_cores) 
registerDoParallel(cluster) 
t.start <- Sys.time() 
data <- foreach(page=1:10, .combine=bind_rows, .packages=c('jsonlite')) %dopar% { 
    if (page %% 4 == 0) Sys.sleep(1) 
    page_data <- fetch.data(page) 
    page_data <- page_data$results 
    data.piece <- page_data[c('id', 'scraper', 'title', 'text', 'ts', 'url', 'pertinence', 'source')] 
    data.piece 
} 
t.end <- Sys.time() 
stopImplicitCluster() 
print(t.end - t.start) 

このコードは、最近、私のために働きました。あなたが世話をしなければならない唯一のことは、あなたがapiの制限の範囲内で遊ぶことです。これは、スクリプトを遅くする必要があることを意味します。たとえば、4ページごとに1秒間待機します。