R：JSONからdata.frameへの一般的なフラット化

Question

この質問は、非周期的な同種または異種のデータ構造のコレクションをデータフレームに変換する一般的なメカニズムに関するものです。これは、多くのJSON文書や辞書の配列である大きなJSON文書の取り込みを処理する場合に特に便利です。

深くネストされたJSON構造を操作し、一般的に提供するとは対照的に、私が発見したすべての質問と回答は、特定のケースについているなど機能性などplyr、lapplyを使用して、データフレームにそれらを回すことに対処するいくつかのSOの質問があります。複雑なJSONデータ構造のコレクションを扱うアプローチ

PythonとRuby私は、フラット化されたデータ構造内のそのノードの値の名前として、データ構造内のリーフノードへのパスを使用する汎用データ構造フラット化ユーティリティを実装することでうまく機能しました。たとえば、値my_data[['x']][[2]][['y']]は、result[['x.2.y']]と表示されます。

完全に均質でない可能性があるこれらのデータ構造の集合を有する場合、データフレームへの平坦化を成功させる鍵は、すべての可能なデータフレーム列の名前を発見することである/個別に平坦化されたデータ構造内の値の名前。

これは一般的なパターンのようで、誰かが既にRのためにこれを構築しているのかどうか疑問に思っています。私はそれを構築しますが、Rのユニークな約束事に基づくデータ構造を考えると、ヒープスラッシングを最小限に抑える実装アプローチ。

Answer 1

こんにちは@Sim私は昨日、定義した問題に反映させていた：

flatten<-function(x) { 
    dumnames<-unlist(getnames(x,T)) 
    dumnames<-gsub("(*.)\\.1","\\1",dumnames) 
    repeat { 
     x <- do.call(.Primitive("c"), x) 
     if(!any(vapply(x, is.list, logical(1)))){ 
      names(x)<-dumnames 
      return(x) 
     } 
    } 
} 
getnames<-function(x,recursive){ 

    nametree <- function(x, parent_name, depth) { 
     if (length(x) == 0) 
      return(character(0)) 
     x_names <- names(x) 
     if (is.null(x_names)){ 
      x_names <- seq_along(x) 
      x_names <- paste(parent_name, x_names, sep = "") 
     }else{ 
      x_names[x_names==""] <- seq_along(x)[x_names==""] 
      x_names <- paste(parent_name, x_names, sep = "") 
     } 
     if (!is.list(x) || (!recursive && depth >= 1L)) 
      return(x_names) 
     x_names <- paste(x_names, ".", sep = "") 
     lapply(seq_len(length(x)), function(i) nametree(x[[i]], 
      x_names[i], depth + 1L)) 
    } 
    nametree(x, "", 0L) 
} 

（getnamesがAnnotationDbiから構成されている::: make.name.tree）

（ flattenは How to flatten a list to a list without coercion?ここでの議論から構成されています）簡単な例として

my_data<-list(x=list(1,list(1,2,y='e'),3)) 

> my_data[['x']][[2]][['y']] 
[1] "e" 

> out<-flatten(my_data) 
> out 
$x.1 
[1] 1 

$x.2.1 
[1] 1 

$x.2.2 
[1] 2 

$x.2.y 
[1] "e" 

$x.3 
[1] 3 

> out[['x.2.y']] 
[1] "e" 

ので、結果はあなたが示唆おおよそ命名構造を持つ扁平なリストです。強要も避けられますが、それはプラスです。

より複雑な例

library(RJSONIO) 
library(RCurl) 
json.data<-getURL("http://www.reddit.com/r/leagueoflegends/.json") 
dumdata<-fromJSON(json.data) 
out<-flatten(dumdata) 

UPDATE jsonliteパッケージは、具体的にはJSONとの間の変換をするように設計RJSONIOのフォークである.1

my_data<-list(x=list(1,list(1,2,y='e'),3)) 
gsub("(*.)\\.1","\\1",unlist(getnames(my_data,T))) 

> gsub("(*.)\\.1","\\1",unlist(getnames(my_data,T))) 
[1] "x.1" "x.2.1" "x.2.2" "x.2.y" "x.3" 

Answer 2

Rには、JSON入力を処理する2つのパッケージ（rjsonとRJSONIO）があります。 「非周期的な同種または異種のデータ構造の収集」という意味を正しく理解していれば、これらのパッケージのいずれかがそのような構造をlistとしてインポートすると思います。

unlist関数を使用して、そのリストをベクターにフラット化できます。

リストが適切に構造化されていれば（各要素の長さが同じでないネストされていないリスト）、as.data.frameはリストをデータフレームに変換する代替手段です。

例：

(my_data <- list(x = list('1' = 1, '2' = list(y = 2)))) 
unlist(my_data) 

Answer 3

末尾除去する

素朴な方法とデータフレームが簡単になります。あなたは例のjsonのデータを提供していませんが、これはあなたが探しているかもしれないと思います。このblog postまたはthe vignetteをご覧ください。

Answer 4

flattenとgetnames関数の優れた答えです。 JSON文字列のベクトルからdata.frameに移動するのに必要なすべてのオプションを調べるのに数分かかったので、ここでそれを記録すると思いました。 jsonvecがJSON文字列のベクトルであるとします。以下は、stringごとに1つの行が存在するdata.frame（data.table）を構築し、各列はJSONツリーの異なる葉ノードに対応しています。特定のリーフノードを欠いている文字列はすべてNAで埋められます。

library(data.table) 
library(jsonlite) 
parsed = lapply(jsonvec, fromJSON, simplifyVector=FALSE) 
flattened = lapply(parsed, flatten) #using flatten from accepted answer 
d = rbindlist(flattened, fill=TRUE)