ファンクションスローエラーはベクトルに適用されますが、1つの要素には適用されません

Question

この問題と解決方法を明確にするために、次のように書き直して、関数と解決策を一例として底部に残しました。ヘルプのJohn Colemanにもう一度感謝します！

問題：私はこのエラーを投げ、URLのベクトルを1つのURLを渡すときに働いていたデータ掻き取り機能を作成しますが、ない：

Error in data.frame(address, recipename, prept, cookt, calories, protein, : arguments imply differing number of rows: 1, 14, 0

をそれはURLの一部がIだったことが判明スクラップしようとすると、指示セクションに別のタグがありました。これにより、xpathSApplyのスクラップが発生し、長さ0のリストが返され、rbindに渡されたときにエラーが発生しました。

問題の特定は、エラーが発生したページを見つけてそのページのHTML構造を調べるまで、各URLを実行するだけの問題でした。ここで

は、私はもともと書いた関数である：

f4fscrape <- function(url) { 

#Create an empty dataframe 

    df <- data.frame(matrix(ncol = 11, nrow = 0)) 
    colnames <- c('address', 'recipename', 'prept', 'cookt', 
        'calories', 'protein', 'carbs', 'fat', 
        'servings', 'ingredients', 'instructions') 
    colnames(df) <- paste(colnames) 

    #check for the recipe url in dataframe already, 
    #only carry on if not present 

    for (i in length(url)) 
      if (url[i] %in% df$url) { next } 
    else { 

    #parse url as html 

    doc2 <-htmlTreeParse(url[i], useInternalNodes = TRUE) 

    #define the root node 

    top2 <- xmlRoot(doc2) 

    #scrape relevant data 

    address <- url[i] 
    recipename <- xpathSApply(top2[[2]], "//h1[@class='fn']", xmlValue) 
    prept <- xpathSApply(top2[[2]], "//span[@class='prT']", xmlValue) 
    cookt <- xpathSApply(top2[[2]], "//span[@class='ckT']", xmlValue) 
    calories <- xpathSApply(top2[[2]], "//span[@class='clrs']", xmlValue) 
    protein <- xpathSApply(top2[[2]], "//span[@class='prtn']", xmlValue) 
    carbs <- xpathSApply(top2[[2]], "//span[@class='crbs']", xmlValue) 
    fat <- xpathSApply(top2[[2]], "//span[@class='fat']", xmlValue) 
    servings <- xpathSApply(top2[[2]], "//span[@class='yld']", xmlValue) 
    ingredients <- xpathSApply(top2[[2]], "//span[@class='ingredient']", xmlValue) 
    instructions <- xpathSApply(top2[[2]], "//ol[@class='methodOL']", xmlValue) 

    #create a data.frame of the url and relevant data. 

    result <- data.frame(address, recipename, prept, cookt, 
         calories, protein, carbs, fat, 
         servings, list(ingredients), instructions) 

    #rename the tricky column 

    colnames(result)[10] <- 'ingredients' 

    #bind data to existing df 

    df <- rbind(df, result) 
      } 

    #return df 

    df 
} 

そして、ここでは、ソリューションです - 次のように私は単純に、条件を追加しました：

instructions <- xpathSApply(top2[[2]], "//ol[@class='methodOL']", xmlValue) 
      if (length(instructions) == 0) { 
        instructions <- xpathSApply(top2[[2]], "//ul[@class='b-list m-circle instrs']", xmlValue)} 

Answer 1

私はそれが動作するようにあなたの関数を微調整することができました：

f4fscrape <- function(urls) { 

    #Create an empty dataframe 

    df <- data.frame(matrix(ncol = 11, nrow = 0)) 
    cnames <- c('address', 'recipename', 'prept', 'cookt', 
       'calories', 'protein', 'carbs', 'fat', 
       'servings', 'ingredients', 'instructions') 

    names(df) <- cnames 

    #check for the recipe url in dataframe already, 
    #only carry on if not present 

    for (i in 1:length(urls)) 
    if (urls[i] %in% df$address) { 
     next } 
    else { 
    #parse url as html 

    doc2 <-htmlTreeParse(urls[i], useInternalNodes = TRUE) 

    #define the root node 

    top2 <- xmlRoot(doc2) 

    #scrape relevant data 

    address <- urls[i] 
    recipename <- xpathSApply(top2[[2]], "//h1[@class='fn']", xmlValue) 
    prept <- xpathSApply(top2[[2]], "//span[@class='prepTime']", xmlValue) 
    cookt <- xpathSApply(top2[[2]], "//span[@class='cookTime']", xmlValue) 
    calories <- xpathSApply(top2[[2]], "//span[@class='calories']", xmlValue) 
    protein <- xpathSApply(top2[[2]], "//span[@class='protein']", xmlValue) 
    carbs <- xpathSApply(top2[[2]], "//span[@class='carbohydrates']", xmlValue) 
    fat <- xpathSApply(top2[[2]], "//span[@class='fat']", xmlValue) 
    servings <- xpathSApply(top2[[2]], "//span[@class='yield']", xmlValue) 
    ingredients <- xpathSApply(top2[[2]], "//span[@class='ingredient']", xmlValue) 
    instructions <- xpathSApply(top2[[2]], "//ol[@class='methodOL']", xmlValue) 

    #create a data.frame of the url and relevant data. 

    result <- data.frame(address, recipename, prept, cookt, 
         calories, protein, carbs, fat, 
         servings, paste0(ingredients, collapse = ", "), instructions, stringsAsFactors = FALSE) 


    df <- rbind(df, setNames(result, names(df))) 
    } 

    #return df 

    df 
} 

変更：

1）urlので、私は、列名が割り当てられていた方法を変更colnames

2）についても同様に、それurlsと改名、組み込み関数です。

3）ループfor (i in length(url))は最後のインデックスにスキップします。私は for (i in 1:length(urls))

4）存在しないカラム（url）と呼ばれる状態if (url[i] %in% df$url)にそれを変更しました。私はそれをaddressに変更しました。

5）最も重要な変更点：paste0を使用して、成分を1つの文字列に連結しました。あなたが持っていたものでは、1-urlの場合、各成分はそれ自身の行に置かれ、他の列は（リサイクルルールによって）繰り返されました。現在のコードを単一のURLで実行し、結果をView()とすると、意図したとおりではない可能性があります。したがって、「1つのURLが渡されたときに機能します」というのは当てはまりません。

6）これらの長い文字列では、stringsAsFactors = FALSEを設定すると良いようです。

7）新しい行がrbindの場合、データフレームに名前を設定する必要があります。 this質問を参照してください。私はについて十分に知らない

：あなたは（もちろんそうではないズームアウトが）以下を参照してくださいあなたの与えられたリストの微調整機能を実行しているのあなたはView結果

XMLライブラリを使用すると、速度に役立ちます。ときには遅く、時には速くなることもあります。そのため、ほとんどの場合、接続速度が遅くなり、制御できない場合があります。