フィルタースパークDataFrameの文字列には、

Question

Spark 1.3.0とSpark Avro 1.0.0が使用されています。 私はthe example on the repository pageから働いています。この次のコードはうまく

val df = sqlContext.read.avro("src/test/resources/episodes.avro") 
df.filter("doctor > 5").write.avro("/tmp/output") 

しかし、私はdoctor文字列が部分文字列を含んでいるかどうかを確認するために必要であれば、どのような作品？文字列の中に式を書いているからです。 「含む」をするために私は何をしますか？

Answer 1

あなたは（これは任意の順序で動作）containsを使用することができます。

df.filter($"foo".contains("bar")) 

like（SQL SQL単純な正規表現と同じように、任意の順序に一致する任意の文字に一致する_と% whith）：

を

df.filter($"foo".like("bar")) 

またはrlike（Java regular expressionsと同様）：

df.filter($"foo".rlike("bar")) 

あなたの要件に応じて。 LIKEとRLIKEもSQL式で動作するはずです。