pyspark.sqlのdata.frame理解機能

Question

私はmoocを取っています。

これは、列が小文字に変換する必要があるつの割り当てを有しています。 sentence=lower(column)はそのトリックを行います。しかし、当初私は構文がsentence=column.lower()であるべきだと思った。私はドキュメントを見て、私は構文の問題を理解できませんでした。オンライン文書と関数定義を検索することによって、私が間違った構文をしていることをどのように理解できたかを説明することは可能でしょうか？

This linkはそのstring.lower（示して、私は特別に混乱しています）は、通常の文字列のPythonオブジェクトの場合のトリック

from pyspark.sql.functions import regexp_replace, trim, col, lower 
def removePunctuation(column): 
    """Removes punctuation, changes to lower case, and strips leading and trailing spaces. 

    Note: 
     Only spaces, letters, and numbers should be retained. Other characters should should be 
     eliminated (e.g. it's becomes its). Leading and trailing spaces should be removed after 
     punctuation is removed. 

    Args: 
     column (Column): A Column containing a sentence. 

    Returns: 
     Column: A Column named 'sentence' with clean-up operations applied. 
    """ 

    sentence=lower(column) 

    return sentence 

sentenceDF = sqlContext.createDataFrame([('Hi, you!',), 
             (' No under_score!',), 
             (' *  Remove punctuation then spaces * ',)], ['sentence']) 
sentenceDF.show(truncate=False) 
(sentenceDF 
.select(removePunctuation(col('sentence'))) 
.show(truncate=False)) 

Answer 1

あなたが正しいを行います。文字列を扱っているときに、小文字に変換する場合は、str.lower()を使用する必要があります。

そして、あなたはPython Documentationで文字列のページをチェックすると、あなたはそれはあなたが期待するように動作するはずです下方法があるでしょう。しかし

a_string = "StringToConvert" 
a_string.lower()      # "stringtoconvert" 

を。あなたは、単一の文字列で作業していないremovePunctuationあなたの機能で、提供さスパークの例では、あなたは列で作業しています。また、列は文字列とは別のオブジェクトです。つまり、列で動作するメソッドを使用する必要があります。

具体的には、このpyspark sql methodで作業しています。どのメソッドを実装する必要があるのか​​が次に疑われるときは、オブジェクトのデータ型を再確認してください。また、あなたは輸入品のリストを確認した場合、あなたはそれがこれは私がそれを行うために管理方法ですpyspark.sql.functions

Answer 2

からlowerメソッドを呼び出して表示されます。

lowered = lower(column) 
np_lowered = regexp_replace(lowered, '[^\w\s]', '') 
trimmed_np_lowered = trim(np_lowered) 

return trimmed_np_lowered 

Answer 3

return trim(lower(regexp_replace(column, "\p{Punct}", ""))).alias('sentence')