Numpy: numpy.fft.fftの非常に長いランタイム（Trac＃1266）

_ @endolithは2009-11-20_に書き込みました

関連：＃1177 http://projects.scipy.org/scipy/ticket/949

_ @rgommersは2011-03-01_に書き込みました

_ @rgommersは2011-03-01_に書き込みました

David C.は、必要に応じてBluestein変換を実装しています： https ：

うまくいけば、すぐにNumpyトランクに着陸するはずです。

マイルストーンは2011-03-25に@mwiebeによってUnscheduledされました

このPRでは、小さな素数へのパディングが提案されています
https://github.com/scipy/scipy/pull/3144
より良いパディングサイズを取得する機能を持つことは、numpysfftpackで便利なユーティリティかもしれません

はい、 m = 2 ** nextpow2(2 * n - 1)代わりに、 next_regular関数のようなものを使用する方が高速です

また、 pymbarのdetect_equilibration関数を使用してこの問題に遭遇しました。この関数は、ますます短くなる多くの配列でnp.fftとnp.ifftを繰り返し呼び出します。 コードのプロファイリングを見つけたので、最終的にこのスレッドにたどり着きました。 これまでのところ唯一の回避策は、明示的に呼び出すことです

 np.fft.fftpack._fft_cache.clear()

メモリ要件が危険なほど大きくならないようにするため。 しかし、これは理想的な解決策ではないようです。 「memsafe = True」などのkwargや、グローバル変数を明示的に参照せずに手動でキャッシュをクリアする関数があると便利です。

@juliantaylorパディングはプレーンFFTには適用されませんよね？ たたみ込み/相関だけですか？

@rgommers Bluesteinアルゴリズムは、 https：//github.com/scipy/scipy/issues/4288で行われているように、プライムサイズのFFTを高速化し

とにかく、これはhttps://github.com/numpy/numpy/issues/1177の複製として閉じることができると思い

と@smcantabの問題は異なりますか？

@endolithこれはずっと前のことです:)しかし、はい、もう一度見てみると、別の問題のようです。 私が報告した問題はまだ関連している可能性があり、それが機能するためには、pymbarで提案した回避策を実装する必要がありました。

参考までに、私はこの例を見せてくれたオーディオ会議で誰かに出くわしました。 再現が簡単で極端です。

%time np.fft.fft( np.random.randn(100000) )
Wall time: 16 ms
Out[16]: 
array([ 196.58599022  +0.j        ,  -88.38483360 +89.2507627j ,
       -166.72250316+339.27161306j, ...,   12.22959535 -64.01621313j,
       -166.72250316-339.27161306j,  -88.38483360 -89.2507627j ])

%time np.fft.fft( np.random.randn(100003) )
Wall time: 1min 42s
Out[17]: 
array([  13.36160617  +0.j        , -314.86472577-340.44686425j,
       -258.36716707-170.43805382j, ...,  -21.18014704+441.3618185j ,
       -258.36716707+170.43805382j, -314.86472577+340.44686425j])

長さ1e6のfft：16ミリ秒

長さ1e6 + 3のfft：1分および42秒

バグではなく機能。 FFTPACKは、サイズが2、3、4、5の積として因数分解される場合にのみ「高速」になります。大きな素数に対してより高速なアルゴリズムを使用したいという長年の要望がありましたが、実装されていません。 100003がプライムであることに注意してください。

私はそれを「機能」とは呼びませんが、それは正常であり、バグではありません。 :)

https://github.com/scipy/scipy/issues/4288にはBluesteinのアルゴリズムがありますが、複雑なチャープの事前計算が必要なため、どのプライムサイズで価値があるかを確認するためにいくつかのテストを行う必要があります。

面白い。 私が知っている主なことは、JuliaとMatlabのデフォルトのfft実装にはこの動作がないということです。 この動作を回避するためにJuliaの実装が何をするのか興味があります。

JuliaとMatlabはFFTWを呼び出しますが、ライセンスが原因でできません。

FFTWにはPythonバインディングがあることに注意してください。 pyFFTWはかなり最新のようです。 FFT速度が懸念される場合は、おそらくそれが最善の方法です。 FFTPACKは当時としては優れた実装でしたが、コードとハードウェアは進歩しました。

@charris私は間違いなく情報に感謝し、それは残念ですが、ライセンスに関しては理にかなっています。

@standarddeviant numpy / scipyの上にpyfftwをモンキーパッチしてFFTWを使用することもできます

これはnumpy1.17で修正する必要があります。

ありがとう@mreineck 、締めくくり