R - ビッグデータ：一般化線形混合効果モデル

Question

比較的大きなデータセットにgeneralized linear mixed-effects modelsをフィッティングする戦略の提案を探しています。

私は、米国バスケットボールパスの8 millionのデータを10年間で約300チームで持っています。

data <- data.frame(count = c(1,1,2,1,1,5), 
       length_pass= c(1,2,5,7,1,3), 
       year= c(1,1,1,2,2,2), 
       mean_length_pass_team= c(15,15,9,14,14,8), 
       team= c('A', 'A', 'B', 'A', 'A', 'B')) 
data 
count length_pass year mean_length_pass_team team 
1  1   1 1     15 A 
2  1   2 1     15 A 
3  2   5 1      9 B 
4  1   7 2     14 A 
5  1   1 2     14 A 
6  5   3 2      8 B 

私は、プレイヤーがボールを渡す前に取るcountの手順を説明したい：データは次のようになります。 countとlength_passの間にチームレベルの違いがあると想定する理論的な動機があるため、マルチレベル（つまり混合効果）モデルが適切と思われます。

私の個々のレベル制御変数はlength_passとyearです。

チームレベルで私にはmean_length_pass_teamがあります。これは、生態学的な誤謬を避けるために役立つはずです、Snijders, 2011によると。

私はlme4パッケージとbrmsパッケージを使用してこれらのモデルを見積もっていますが、これらのモデルをローカルの12コア128GBマシンに適合させるには数日から数週間かかります。

私は一般化線形混合効果モデルに合うようにフィッティングプロセスや新しいテクニックをスピードアップするための提案を探しています

library(lme4) 
model_a <- glmer(count ~ length_pass + year + mean_length_pass_team + (1 | team), 
       data=data, 
       family= "poisson", 
       control=glmerControl(optCtrl=list(maxfun=2e8))) 

library(brms) 
options (mc.cores=parallel::detectCores()) 
model_b <- brm(count ~ length_pass + year + mean_length_pass_team + (1 | team), 
       data=data, 
       family= "poisson") 

：

• （どのように）私はlme4とbrmsの速度を向上させることができますフィット？
• 他にも検討すべきパッケージはありますか？
• 適合モデルの速度を高めるのに役立つ手順はstep-wiseですか？
• R環境の外に、これに適した興味深いオプションがありますか？

どのポインタも大変ありがとうございます。

Answer 1

一般的な速度向上のために、ネイティブBLASの代わりにopenBLASを使用することをお勧めします。残念ながら、私はLME4がBLASに依存しているとは思わない。

しかし、私はgenerating the LME4 models in parallelを提案することもできます。これは効果的に待ち時間を半減させます。