phyのテキストからキリル文字/キーワードを抽出する

Question

私は自分のウェブページのキーワードを作成しようとしており、そのキーワードをテキストから抽出したいと考えています。

$text = "Текст кирилица"; 
$words = extractCommonWords($text); 
echo implode(',', array_keys($words)); 

問題がキリル文字でdosen`t仕事です： 私は

ここ

function extractCommonWords($string){ 
    $stopWords = array('и', 'или'); 

     $string = preg_replace('/ss+/i', '', $string); 
     $string = trim($string); 
     $string = preg_replace('/[^a-zA-Z0-9 -]/', '', $string); 
     $string = strtolower($string); 
     preg_match_all('/\b.*?\b/i', $string, $matchWords); 
     $matchWords = $matchWords[0]; 

     foreach ($matchWords as $key=>$item) { 
      if ($item == '' || in_array(strtolower($item), $stopWords) || strlen($item) <= 3) { 
       unset($matchWords[$key]); 
      } 
     } 
     $wordCountArr = array(); 
     if (is_array($matchWords)) { 
      foreach ($matchWords as $key => $val) { 
       $val = strtolower($val); 
       if (isset($wordCountArr[$val])) { 
        $wordCountArr[$val]++; 
       } else { 
        $wordCountArr[$val] = 1; 
       } 
      } 
     } 
     arsort($wordCountArr); 
     $wordCountArr = array_slice($wordCountArr, 0, 10); 
     return $wordCountArr; 
} 

は私がしようとするものであるという機能を持っています。それを修正するには？

Answer 1

キリル文字はマルチバイト文字です。 PHPのmulti-byte character functionを使用する必要があります。

正規表現の場合は、/u修飾子を追加してユニコードに準拠させる必要があります。

もAre the PHP preg_functions multibyte safe?

Answer 2

a-zがそれらを一致しないためにも、すべてのキリル文字を削除します置き換えるためにあなたのパターンを参照してください。

\p{Cyrillic} 

を...とGolezTrolによって提案されたようmodifiier uを使用します。

はキリル文字を維持するために、文字クラスにこれを追加します。

$string = preg_replace('/[^\p{Cyrillic} a-zA-Z0-9 -]/u', '', $string); 

あなただけのキリル文字の単語を抽出したい場合は、あなただけの単語を一致させるためにこれを使用、何を交換する必要はありません。

preg_match_all('/\b(\p{Cyrillic}+)\b/u', $string, $matchWords);