キュウリ - 既知の問題として予想通りに失敗する方法を教えてください。

Question

Javaベースのテストを処理するためにCucumberをうまく使用しました。

これらのテストでは回帰の問題が発生することがあります。見つかった問題の修正に時間がかかります（問題の優先度に応じて、数週間から数か月かかる場合があります）。だから、いくつかのキュウリ試験を既知の問題としてマークする方法を探しています。これらのテストがすべてのテストで失敗しないようにするには、たとえばレポートに黄色の色で保留するなどのようにマークしたいだけです。

失敗したテストのために@tagを指定して実行リストから除外することができますが、これらのテストを継続的に実行する必要があるため、実行したいのではありません。問題が修正されたら、追加のタグ操作をせずに適切なテストを再度緑色にする必要があります。

いくつかの他のフレームワークは、このような機能を提供します（テストは実行しますが、失敗した場合はその結果を無視します）。どういうわけかキュウリを使って同じトリックをすることは可能ですか？

私が今使っている最終的な解決策 - 特定のタグの既知の問題をマークするには、これらのテストを定期的なラウンドから除外し、別々に実行します。しかし、それは私が信じる最良の解決策ではありません。

感謝しています。前もって感謝します。

Answer 1

既知の障害を引き起こす手順で保留中の例外をスローすることを検討します。これにより、ステップが実行され、忘れられないようになります。

また、障害が発生したときにそれが捕捉され、実際の障害の代わりに保留中の例外がスローされるように、失敗したステップを書き直すことも検討します。これは、問題が修正され、保留中の例外をスローする理由がなくなったときに、合格スイートがあることを意味します。

私が懸命に働くもう一つのことは、問題が古くならないようにすることではありません。問題は子供のようなものです。子供が成長すると、問題を解決するのがより困難になります。若いうち、おそらく数分かかる問題を解決するのは簡単です。数ヶ月前の問題を解決するのは難しいです。

Answer 2

すべきではありません。

私の意見では、失敗したテストがある場合、これらのシナリオのバグ/タスクチケットを追加し、それらを関連タグのビルドステータスページに追加する必要があります。 もう1つのことは、チケット番号をタグとして追加して、チェックした後に削除することです。

バグのためにシナリオが失敗した場合、シナリオが完全に実装されていない場合、実行しない方がよいことがレポートに表示されます。

これらのシナリオに特定のタグ/名前を追加し、以前のシナリオ方法で試してタグを取得し、追加された特定のタグ/名前を確認し、保留中の例外をスローすることができます。

私が示唆しているのは、バグがある場合はそれらのシナリオを実行し続け、ステータスページにそれを記録することです。

「グレー」のステータスで何らかの黄色ではなく失敗しているため、これらのシナリオが赤色の場合、クライアントはより理解しやすくなると思います。

実行のステータスが一部のCIジョブをトリガーする必要がある場合は、その状態を変更する方が良いかもしれません。

私はそれを見て、あなたが考える必要があることは、次のようなものでなければなりません：黄色か赤の違いは何ですか？あなたやクライアントのために保留中または失敗していますか？実際の状態を把握する

これらの問題をメールでお伝えし、プロジェクトチームやQAチームと話し合い、最終的な決定が下されたら、お客様からもフィードバックを得るべきです。