floating-point-precision

10熱

1答えて

私はいくつかのアイテムの価格をmysqlテーブルの中に入れなければなりません。私はDECIMAL(10,2)を使用してテーブルを作成しているので、コンマの後に2桁を超える必要はありません（たとえば、123,45は入力として受け入れられますが、123,456はPHPで123,45に丸められます）。最初の質問：DECIMAL(10,2)を使用すると、コンマの前に保存できる数字の数はどのようにわかりま

0熱

1答えて

Ruby Minitestテストのプロファイリング

私は、RailsアプリケーションのMinitestテストを低速で実行しています（1回のテストで3〜4分）。私はそれらを修正する方法を学ぶためにそれらをプロファイルしたい。私は標準的なRubyプロファイラとルビープロフェッショナルを使用しようとしましたが、どちらも機能しませんでした。標準的なRubyプロファイラプロファイル...何かがテストを実行する前にその結果を表示しますが、私はそれらに関する情

5熱

1答えて

Kivyアプリケーションのプロファイルを作成するにはどうすればよいですか？

私はKivyを使ってゲームを構築しています。私はパフォーマンス上の問題に直面しているので、私はプログラムをプロファイルすることに決めました。で、私はそれを実行しようとした：アプリケーション画面が黒いまま python -m cProfile main.py 。 Traceback (most recent call last): File "c:\python27\Lib\runp

1熱

1答えて

nvprofがAPIコールまたはカーネルを取得していません

私のCUDAプログラムでnvprofでベンチマークタイミングを取得しようとしていますが、残念ながらAPI呼び出しやカーネルのプロファイリングが行われていないようです。私は確かに、私は右のそれをやっていた作るために簡単な初心者例えば見て、ここでのNvidiaのdevのブログに1を見つけました： https://devblogs.nvidia.com/parallelforall/how-optimi

1熱

1答えて

プロファイラはジャンプの時間が無く、比較に多くの時間を示します

システムヒープと比較してカスタムヒープマネージャの作業をテストしている間に（システムを置き換えるために）私はいくつかの速度低下を経験しました。 Windows 7、Intel Xeon CPU E5-1620 v2 @ 3.70 GHzでプロファイリングx64アプリケーションにAMD CodeAnalystを使用しました。がこのブロックは、アプリケーション全体の実行のための時間の約90％を消費し

1熱

1答えて

int Vtuneからの整数の加減算イベントカウントはどこですか？

私はプログラムをプロファイリングするためにインテルVTuneを使用しています。私が使用しているCPUはIVY Bridgeです。すべてのハードウェア命令イベントは、ここで見つけることができます：FP計算のuopの https://software.intel.com/en-us/node/589933 FP_COMP_OPS_EXE.X87 Numberこのサイクルを実行しました。 FADD

16熱

3答えて

正しい使用:: cout.precision（） - 印刷していない後続のゼロ

私は、浮動小数点数のための高精度の数について多くの質問を参照してくださいが、特に私は、このコード #include <iostream> #include <stdlib.h> int main() { int a = 5; int b = 10; std::cout.precision(4); std::cout << (float)a/(float

5熱

3答えて

Java floatはdoubleよりも正確ですか？

コード： class Main { public static void main (String[] args) { System.out.print("float: "); System.out.println(1.35f-0.00026f); System.out.print("double: "); System.out.print

8熱

1答えて

浮動小数点エラーを回避する方法は？

私は平方根に近似する関数を書こうとしていました（私は数学モジュールがあることを知っています...自分でやりたいと思います）、私は浮動小数点演算に惑わされていました。どのようにそれを避けることができますか？ >>> sqrt(4) 2.0000000000000013 >>> sqrt(9) 3.00999999999998 私はちょうどround()を使用することができます実現が、私はこ

14熱

1答えて

GHC/Haskellで拡張精度（80ビット）浮動小数点演算を使用できますか？

標準HaskellのDoubleはthe standard double-precision arithmeticを使用しています。 data Double 倍精度浮動小数点数を。このタイプは、IEEE倍精度タイプと少なくとも同じ範囲および精度であることが望ましい。 GHC/Haskellは、おそらく何らかの外部ライブラリを使用してextended precision（80ビット）浮動小数点数を提