再訓練アプローチは、NLCやR＆R

Question

のために私たちが知っているグランドトゥルースは& R.

グランドトゥルースが質問レベルのトレーニングデータであるがNLCを再訓練またはRに使用されます。

「それが今日どのように暑いですか、温度」

質問「それが今日どのように暑いのですか？」したがって、「温度」クラスに分類される。

アプリケーションが起動すると、実際のユーザーの質問が届きます。いくつかは同じです（つまり、実際のユーザーからの質問は、真実の質問と同じです）。いくつかは類似した用語です。いくつかは新しい質問です。クラス（NLCの場合）または回答（R & Rの場合）が適切かどうかを知るために、アプリケーションにフィードバックループがあるとします。

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R? 
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier? 
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth? 

ここでの主な問題は、アプリケーションがライブになった

Answer 1

たら、あなたが定期的にあなたのフィードバックを確認する必要があります...再訓練アプローチはNLC & R & Rのためであるかについて、簡単に言えば、あります改善の機会を記録する。 NLCの場合、誤って分類されているテキストがある場合は、それらのテキストをトレーニングセットに追加し、分類子を改善するために再トレーニングすることができます。

分類子が受け入れ可能な応答を返す限り、想像を絶するクラスの変化をすべてキャプチャする必要はありません。

トレーニングセットに含まれていないテストセットを組み立てるために、ログのクラスの追加の例を使用できます。変更を行ったときにこのテストセットを実行すると、変更によって誤って回帰が発生したかどうかを判断できます。このテストは、RESTクライアントを使用してクラシファイアを呼び出すか、Beta Natural Language Classifierツールキットを使用して実行できます。

Answer 2

実践的な再トレーニングアプローチは、実際のユーザーからのフィードバックを得るべきです。再訓練されたNLC（またはそれに関するR & R）のテストと検証は、James Ravenscroftがここで概説した原則の一部（https://brainsteam.co.uk/2016/03/29/cognitive-quality-assurance-an-introduction/）によってガイドされるべきです。

The answer @davidgeorgeukが正しいですが、あなたが探している結論に思考を拡張することができません。 REALユーザーがあなたのものを正しく分類していないことを示しているアプリケーションログと、新しいクラスを分類子に組み込むという、毎月の一連の活動があります。新しいデータでNLCの2番目のインスタンスを再テストし、上に概説したテストシナリオを実行します。

モデルを改善したことを確認したら、コードを新しいNLCインスタンスを指すように切り替え、古いNLCインスタンスを「バックアップ」インスタンスとし、使用するインスタンスをこの練習は翌月に行われます。 NLCインスタンスの管理に単純なDevOpsアプローチを適用するだけです。必要に応じて、これを開発、品質保証、生産シナリオに拡張することができます。