スパークデータフレーム-Pythonは

Question

パンダで、私は正常に次のように実行することができます

def car(t) 
    if t in df_a: 
     return df_a[t]/df_b[t] 
    else: 
     return 0 

をしかし、私は、スパークデータフレームとまったく同じことを行うことができますどのように多くの感謝を！
データは0.25である必要があり、この

df_a 
a 20 
b 40 
c 60 

df_b 
a 80 
b 50 
e 100 

結果のようなものであるとき、入力車（A）

Answer 1

まず、join両方のデータフレームに、そしてあなたが望む手紙とselectによってfilterに持っていあなたが必要とする操作。

df_a = sc.parallelize([("a", 20), ("b", 40), ("c", 60)]).toDF(["key", "value"]) 
df_b = sc.parallelize([("a", 80), ("b", 50), ("e", 100)]).toDF(["key", "value"]) 

def car(c): 
    return df_a.join(df_b, on=["key"]).where(df_a["key"] == c).select((df_a["value"]/df_b["value"]).alias("ratio")).head() 

car("a") 

# Row(ratio=0.25)