pysparkでMultiClassMetricsを使用してfスコアを計算する方法は？

Question

私はpysparkのドキュメントで見たよう、fmeasure()機能がlabelとbetaをしている2つの引数を取ります。ベータ版はここにある何

fMeasure(label=None, beta=None) 

？

私はRDDである。このように設定され、非常に単純なデータ使用しています：私は、このコマンドを実行すると

+----------+-----+ 
|prediction|label| 
+----------+-----+ 
|   1| 1| 
|   1| 1| 
|   0| 1| 
|   0| 0| 
|   1| 0| 
|   1| 0| 
|   0| 0| 
|   0| 0| 
|   1| 1| 
|   1| 1| 
+----------+-----+ 

（これは、データフレームにありますが、私はRDDに変換） をと：

multi_metrics = MulticlassMetrics(rdd) 
print 'fMeasure: ', multi_metrics.fMeasure(1) 

私はこのエラーを取得する：

print 'fMeasure: ', multi_metrics.fMeasure(1) 
    File "/usr/hdp/current/spark-client/python/pyspark/mllib/evaluation.py", line 259, in fMeasure 
    return self.call("fMeasure", label) 
    File "/usr/hdp/current/spark-client/python/pyspark/mllib/common.py", line 146, in call 
    return callJavaFunc(self._sc, getattr(self._java_model, name), *a) 
    File "/usr/hdp/current/spark-client/python/pyspark/mllib/common.py", line 123, in callJavaFunc 
    return _java2py(sc, func(*args)) 
    File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__ 
    answer, self.gateway_client, self.target_id, self.name) 
    File "/usr/hdp/current/spark-client/python/pyspark/sql/utils.py", line 45, in deco 
    return f(*a, **kw) 
    File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 312, in get_return_value 
    format(target_id, ".", name, value)) 
Py4JError: An error occurred while calling o154.fMeasure. Trace: 
py4j.Py4JException: Method fMeasure([class java.lang.Integer]) does not exist 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335) 
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344) 
    at py4j.Gateway.invoke(Gateway.java:252) 
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) 
    at py4j.commands.CallCommand.execute(CallCommand.java:79) 
    at py4j.GatewayConnection.run(GatewayConnection.java:209) 
    at java.lang.Thread.run(Thread.java:745) 

Answer 1

What is beta here?

スパークのMulticlassMetricsは$ F _ {\ beta} $ - measureを実装しています。これは$ \ beta $ = 1を置くと従来のF-measureと一致します。$ \ beta $パラメータはcontrol relative contributions of precision vs recall in F-measureになります。

エラーについて：実装を見ると、実際にはDoubleが必要です。ここにfMeasureメソッドのpysparkラッパーがあり、実際はimplementation（Scala）です。

だから、例えば、このようにそれを呼び出す良いことがあります：

multi_metrics = MulticlassMetrics(rdd) 
print 'fMeasure: ', multi_metrics.fMeasure(1.0,1.0)