Apache Sparkを使用して連続したサブシーケンスを頻繁に検索する

Question

Apache Sparkを使用して、固定長の連続したサブシーケンスと文字列配列からの特定の最小サポートを見つける方法を教えてください。 例えばTGTGTGTGTG

Answer 1

は、異なる長さのユニークサブ配列にそれを分割し、inital文字列を取ってみ長さL = 2場合は、文字列S = AATTGTGTGTGTGATTTTTTAATG考えると、最小サポートが5で、その後、頻繁に連続したサブシーケンスが

ですそれらの上にインアーialシーケンスをブロードキャストし、フィルタリングを一致させる。このような何かspark-shell

val s = "AATTGTGTGTGTGATTTTTTAATG" //your string 

val s_broadcast = sc.broadcast(s) //broadcast version 

val A = 2 // min length of substring 
val B = 3 // max length of substring 
val C = 3 // min support 
val L = s.size //length of the string 

sc.parallelize(
    for{ 
     i <- A to B 
     j <- 0 to (L - i) 
    } yield (j,i+j) 
) // generating paris of substrings 
.map{case(j,i)=>s_broadcast.value.substring(j,i)} 
.distinct // if optimization is needed, this step is a place to start 
.filter(x=>s_broadcast.value.indexOf(x*C)>=0) 
.collect 
.map(_*C) 

で編集作業になりますよう しかし後には - ここで最長の部分文字列を返しますコードです。前のコードにはCが固定されていますが、これは最も長く試行されます。

val s = "AATTGTGTGTGTGTGATTTTTTAATG" //your string 

val s_broadcast = sc.broadcast(s) //broadcast version 

val A = 2 // min length of substring 
val B = 3 // max length of substring 
val C = 3 // min support 
val L = s.size //length of the string 

sc.parallelize(
    for{ 
     i <- A to B 
     j <- 0 to (L - i) 
    } yield (j,i+j) 
) // generating paris of substrings 
.map{case(j,i)=>s_broadcast.value.substring(j,i)} 
.distinct // if optimization is needed, this step is a place to start 
.flatMap(x=> 
    for{ 
     v <- C to L/A 
    } yield x->v 
) //making "AB"->3 pairs, which will result in search for "ABABAB" 
.filter{case(x,v)=>s_broadcast.value.indexOf(x*v)>=0} 
.groupByKey //grouping same substrings of different length 
.map{case(k,v)=>k->v.max} //getting longer substring 
.collect //bringing substring to the driver 
.map{case(k,v)=>k*v}