スパークSQLフィルタ複数のフィールド

Question

Scala APIの複数のカラムでフィルタリングするためのcorrent構文は何ですか？私はこのような何かをしたい場合：

dataFrame.filter($"col01" === "something" && $"col02" === "something else") 

または

dataFrame.filter($"col01" === "something" || $"col02" === "something else") 

EDIT：

これは私の元のコードは次のようになります。すべてが文字列として入力されます。

df.select($"userID" as "user", $"itemID" as "item", $"quantity" cast("int"), $"price" cast("float"), $"discount" cast ("float"), sqlf.substring($"datetime", 0, 10) as "date", $"group") 
    .filter($"item" !== "" && $"group" !== "-1") 

Answer 1

私は問題が何であるかを見ていると思います。なんらかの理由で、スパークは2つの！=を同じには許さない。フィルタ。どのように見てくださいフィルタは、スパークソースコードで定義されています。異なるスパーク方法で助けることができる

今、あなたのコードが動作するために、あなたはフィルタ

df.filter(col("item").notEqual("") && col("group").notEqual("-1")) 

またはこのリンクhere同じ文で

df.filter($"item" !== "").filter($"group" !== "-1").select(....) 

を2つのフィルタを使用を行うためにこれを使用することができます。