Python/OpenCV - 機械学習ベースのOCR（画像からテキストへ）

Question

OpenCVをPython 2.7インターフェイス経由で使用して、マシン学習ベースのOCRアプリケーションを実装して画像ファイルからテキストを解析してみました。私はthis tutorialを使用しています（便宜上、以下のコードを再掲載しました）。私は機械学習に全く新しいもので、OpenCVには比較的新しいものです。 OCR手書き桁

：

import numpy as np 
import cv2 
from matplotlib import pyplot as plt 

img = cv2.imread('digits.png') 
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) 

# Now we split the image to 5000 cells, each 20x20 size 
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)] 

# Make it into a Numpy array. It size will be (50,100,20,20) 
x = np.array(cells) 

# Now we prepare train_data and test_data. 
train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400) 
test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400) 

# Create labels for train and test data 
k = np.arange(10) 
train_labels = np.repeat(k,250)[:,np.newaxis] 
test_labels = train_labels.copy() 

# Initiate kNN, train the data, then test it with test data for k=1 
knn = cv2.KNearest() 
knn.train(train,train_labels) 
ret,result,neighbours,dist = knn.find_nearest(test,k=5) 

# Now we check the accuracy of classification 
# For that, compare the result with test_labels and check which are wrong 
matches = result==test_labels 
correct = np.count_nonzero(matches) 
accuracy = correct*100.0/result.size 
print accuracy 

# save the data 
np.savez('knn_data.npz',train=train, train_labels=train_labels) 

# Now load the data 
with np.load('knn_data.npz') as data: 
    print data.files 
    train = data['train'] 
    train_labels = data['train_labels'] 

英語アルファベットのOCR：

import cv2 
import numpy as np 
import matplotlib.pyplot as plt 

# Load the data, converters convert the letter to a number 
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ',', 
        converters= {0: lambda ch: ord(ch)-ord('A')}) 

# split the data to two, 10000 each for train and test 
train, test = np.vsplit(data,2) 

# split trainData and testData to features and responses 
responses, trainData = np.hsplit(train,[1]) 
labels, testData = np.hsplit(test,[1]) 

# Initiate the kNN, classify, measure accuracy. 
knn = cv2.KNearest() 
knn.train(trainData, responses) 
ret, result, neighbours, dist = knn.find_nearest(testData, k=5) 

correct = np.count_nonzero(result == labels) 
accuracy = correct*100.0/10000 
print accuracy 

（英語のアルファベットのための）第2のコード・スニペットは、次の形式で.dataファイルから入力を受け取り：

T,2,8,3,5,1,8,13,0,6,6,10,8,0,8,0,8 
I,5,12,3,7,2,10,5,5,4,13,3,9,2,8,4,10 
D,4,11,6,8,6,10,6,2,6,10,3,7,3,7,3,9 
N,7,11,6,6,3,5,9,4,6,4,4,10,6,10,2,8 
G,2,1,3,1,1,8,6,6,6,6,5,9,1,7,5,10 
S,4,11,5,8,3,8,8,6,9,5,6,6,0,8,9,7 
B,4,2,5,4,4,8,7,6,6,7,6,6,2,8,7,10 

...その約2万行があります。データは文字の輪郭を記述する。

私はこの仕組みを基本的に把握していますが、これを使って画像上で実際にOCRを実行する方法については混乱しています。このコードを使用して、cv2イメージをパラメータとし、認識されたテキストを表す文字列を返す関数を作成するにはどうすればよいですか？

Answer 1

一般に、機械学習は次のように機能します。まず、問題のドメインを理解するためにプログラムを訓練する必要があります。それからあなたは質問をし始めます。

OCRを作成している場合、最初のステップは、A文字がどのように見えるか、Bなどをプログラムに教えることです。

OpenCVを使用してノイズからイメージを消去し、文字である可能性のあるピクセルのグループを特定し、それらを分離します。

これらの文字をOCRプログラムに送ります。トレーニングモードでは、画像を送り、画像が表す文字を説明します。質問モードでは、画像を送り、それがどの文字かを尋ねます。トレーニングが良くなればなるほど、あなたの答えはより正確になります（プログラムは文字を間違える可能性があります。常にその機会があります）。