2
私はgradDescent packageについてRの理解に問題があります。私は1つの独立変数を持つデータセットを持っており、このデータに対して簡単な線形回帰を実行してモデルを推定したいとします。そのパラメータはバッチ勾配降下（GD）アルゴリズムを使用します。gradDescentパッケージとlm関数が異なる
たとえば、私はhereで与えられたデータセットを使用しています。最初の列は独立変数（X）で、2番目の列は従属変数（Y）です。
私は自分のRコードをバッチ勾配降下アルゴリズムに書いています。私は学習率を0.01とし、反復回数は1500回です。推定モデルはy = -3.630291 + 1.166362 xです。パラメータの初期値はどちらも1に選択されていました。
私のコードが正しく動作するかどうかチェックしたいと思っていました。私はRの組込み関数を使って比較しました。パラメータは、Rの線形回帰関数によって与えられた結果に本当に近いです。この場合、勾配降下アルゴリズムによって得られた線形回帰モデルは、y = -3.896 + 1.193 xです。
しかし、最近、私はgradDescentというRパッケージを見つけました。どのように動作するのか見たいと思っていました。同じ学習率と最大反復回数を使用して、モデルy = -1.229567 + 0.9257195xの結果を得ました（これらの値は、シード= NULLを設定したために実行するたびに変化します）。ここ
GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
#convert data.frame dataSet in matrix
dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
#shuffle data train
set.seed(seed)
dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
set.seed(NULL)
#initialize theta
theta <- getTheta(ncol(dataTrain), seed=seed)
#bind 1 column to dataTrain
dataTrain <- cbind(1, dataTrain)
#parse dataTrain into input and output
inputData <- dataTrain[,1:ncol(dataTrain)-1]
outputData <- dataTrain[,ncol(dataTrain)]
#temporary variables
temporaryTheta <- matrix(ncol=length(theta), nrow=1)
updateRule <- matrix(0, ncol=length(theta), nrow=1)
#constant variables
rowLength <- nrow(dataTrain)
#loop the gradient descent
for(iteration in 1:maxIter){
error <- (inputData %*% t(theta)) - outputData
for(column in 1:length(theta)){
term <- error * inputData[,column]
#calculate gradient
gradient <- sum(term)/rowLength
updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
temporaryTheta[1,column] = theta[1,column] - updateRule[1,column]
}
#update all theta in the current iteration
theta <- temporaryTheta
}
result <- theta
return(result)
}
パッケージがランダムに初期値を選択
getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
#create static random
set.seed(seed)
#random a value
thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
#clear static random
set.seed(seed)
#transform into matrix
result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
return(result)
}
として、getTheta機能が与えられます。また、GDアルゴリズムを実行する前にデータをシャッフルします。私はちょっと遊んだ。私はパラメータの初期値を1として割り当て、データをシャッフルしませんでした。しかし、私はすべてが間違っている（または正しい）ことを真剣に理解することができませんでした。自分のGDコードとRの関数で同じ結果を得ることができない理由です。
install.packages("gradDescent")
library(gradDescent)
URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")
########## gradDescent Function ##########
GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
# [,1] [,2]
#[1,] -1.312882 0.9281769
########## R bulit-in function ##########
model <- lm(data$V2~ ., data = data)
model
#Call:
# lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
# (Intercept) V1
# -3.896 1.193
注：私は私が書いたものを提供することができますが、基本的に、私は、このパッケージは、LMパッケージよりも多くの異なるパラメータ推定を与える理由を理解しようとしています。
EDIT： コード内にその行があるためですか？ （1（列の：長さ（シータ）））は、第2のループは
updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
上で、コードがupdateRule行列をリセットが、両方の列に（アルファ*勾配）を添加維持しませんすべての反復で行列私が間違っている？
繰り返しでパラメータの更新を見つけた後、このupdateRule行列をゼロにリセットすると、モデルy = -3.570819 +1.160388 xが得られます。これは、私が持っているものと非常に近いものです。私のオリジナルのポストで言及されたことgradDescentパッケージと間違っていた何
EDIT 2 。 updateRule行列がリセットされませんでした。ループ内に1行のコードを追加するだけで、他のものは変更されません。 getTheta関数とGD関数は、投稿されたパッケージの作成者と同じです。
私はそれを修正する2つの例を挙げます。私が使う最初のデータセットは1つの独立変数であり、2番目のデータセットは2つの独立変数です。どちらの例でも、ランダムに生成されたイニシャルを使用します。これはパッケージ内のアイデアです。 2番目の例では、入力変数が大きさの次数によって異なるため、データを正規化します。住宅の面積（サイズ）は、寝室数より約1000倍大きい。
例1
URL_subs <-"https://raw.githubusercontent.com/ahawker/machine-learning-coursera/master/ex1/ex1data1.txt"
data <- read.table(URL_subs, header=FALSE, sep=",")
getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
#create static random
set.seed(seed)
#random a value
thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
#clear static random
set.seed(seed)
#transform into matrix
result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
return(result)
}
GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
#convert data.frame dataSet in matrix
dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
#shuffle data train
set.seed(seed)
dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
set.seed(NULL)
#initialize theta
theta <- getTheta(ncol(dataTrain), seed=seed)
#bind 1 column to dataTrain
dataTrain <- cbind(1, dataTrain)
#parse dataTrain into input and output
inputData <- dataTrain[,1:ncol(dataTrain)-1]
outputData <- dataTrain[,ncol(dataTrain)]
#temporary variables
temporaryTheta <- matrix(ncol=length(theta), nrow=1)
updateRule <- matrix(0, ncol=length(theta), nrow=1)
#constant variables
rowLength <- nrow(dataTrain)
#loop the gradient descent
for(iteration in 1:maxIter){
error <- (inputData %*% t(theta)) - outputData
for(column in 1:length(theta)){
term <- error * inputData[,column]
#calculate gradient
gradient <- sum(term)/rowLength
updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
temporaryTheta[1,column] = theta[1,column] - updateRule[1,column]
}
updateRule <- matrix(0, ncol=length(theta), nrow=1)
#update all theta in the current iteration
theta <- temporaryTheta
}
result <- theta
return(result)
}
GD(data, alpha = 0.01, maxIter = 1500, seed = NULL)
# [,1] [,2]
#[1,] -3.602297 1.16355
########## R built-in lm function ##########
model <- lm(data$V2~ ., data = data)
model
#Call:
# lm(formula = data$V2 ~ ., data = data)
#
#Coefficients:
# (Intercept) V1
# -3.896 1.193
例2
data <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
header = TRUE,
sep = ",")
getTheta <- function(columnLength, minTheta=0, maxTheta=1, seed=NULL){
#create static random
set.seed(seed)
#random a value
thetaList <- runif(columnLength, min=minTheta, max=maxTheta)
#clear static random
set.seed(seed)
#transform into matrix
result <- matrix(unlist(thetaList), ncol=columnLength, nrow=1, byrow=FALSE)
return(result)
}
GD <- function(dataTrain, alpha=0.1, maxIter=10, seed=NULL){
#convert data.frame dataSet in matrix
dataTrain <- matrix(unlist(dataTrain), ncol=ncol(dataTrain), byrow=FALSE)
#shuffle data train
set.seed(seed)
dataTrain <- dataTrain[sample(nrow(dataTrain)), ]
set.seed(NULL)
#initialize theta
theta <- getTheta(ncol(dataTrain), seed=seed)
#bind 1 column to dataTrain
dataTrain <- cbind(1, dataTrain)
#parse dataTrain into input and output
inputData <- dataTrain[,1:ncol(dataTrain)-1]
outputData <- dataTrain[,ncol(dataTrain)]
#temporary variables
temporaryTheta <- matrix(ncol=length(theta), nrow=1)
updateRule <- matrix(0, ncol=length(theta), nrow=1)
#constant variables
rowLength <- nrow(dataTrain)
#loop the gradient descent
for(iteration in 1:maxIter){
error <- (inputData %*% t(theta)) - outputData
for(column in 1:length(theta)){
term <- error * inputData[,column]
#calculate gradient
gradient <- sum(term)/rowLength
updateRule[1,column] <- updateRule[1,column] + (alpha*gradient)
temporaryTheta[1,column] = theta[1,column] - updateRule[1,column]
}
updateRule <- matrix(0, ncol=length(theta), nrow=1)
#update all theta in the current iteration
theta <- temporaryTheta
}
result <- theta
return(result)
}
GD(data, alpha = 0.05, maxIter = 500, seed = NULL)
# [,1] [,2] [,3]
#[1,] 340412.7 110630 -6648.375
########## R built-in lm function ##########
housing <- read.csv("https://raw.githubusercontent.com/ethen8181/machine-learning/master/linear_regression/housing.txt",
header = TRUE,
sep = ",")
normalized <- apply(housing[ , -3 ], 2, scale)
normalized_data <- data.frame(cbind(normalized, price = housing$price))
model <- lm(price ~ ., data = normalized_data)
model
#Call:
# lm(formula = price ~ ., data = normalized_data)
#
#Coefficients:
# (Intercept) area bedrooms
# 340413 110631 -6649
はい、ありがとうございます。これは私のパッケージや機能ではありません。私はまた、更新ルールをリセットするような小さな変更を加えました。今はlmパッケージで同様の結果を得ています。投稿を編集して結果を表示します。 –