Numpy: オブジェクト配列の「制御された」作成

1つのオプションは
`` `python
試す：
＃ゲームに先んじて、非推奨をエラーに昇格させ、それを置き換えます
警告付き.catch_warnings（）：
warnings.filterwarnings（ 'raise'、DeprecationWarning、message = "..."）
c_arr = np.asarray（c）
（DeprecationWarning、ValueError）を除く：
＃ValueErrorに対して現在行っていることは何でも

私はこれを推測し、失敗テストが発光どこインスタンスであるGH-15045に記載されたDeprecationWarning数年間の代わりに、直接発光ValueError必要以上のコードチャーンが発生します。

warnings.catch_warningsはスレッドセーフではないことに注意してください。 そのため、回避策は今後のフォローアップの問題になりがちです。

コードチャーンは非推奨期間の価値があると思います。

Matplotlibは、失敗としての警告を使用してテストスイートを実行し、この種の変更を早期に正確にキャッチするため、システムが機能しているように見えます:)。

しかし、AFAICTには、合理的に簡単な修正すらありません（上記で指摘したように、提案された修正はスレッドセーフではありません）：/

ここに@anntzerのポイントがあると思います。 私たちは、ユーザーがより穏やかなメッセージを表示されるべきである一方で、ダウンストリームライブラリが他の何かを試すことができるように速く失敗したいという混乱に陥っています。

問題は、今日、図書館の作者が実際に警告を発することなしに「これは警告を発するだろうか」と尋ねる方法がないことであり、それを抑制することはスレッドセーフではありません。

警告スレッドセーフについて： https ：

AFAIK、非推奨はリリースブランチにあります。 元に戻しますか？ そうでない場合、修正にはバックポートが必要になります。 なぜ警告がリリースブランチホイールで発生せず、最後の2つのビルドまでナイトリービルドに表示されなかったのかはまだわかりません。 ブランチの後で何も変更しませんでした。それ以降、マスターブランチでは、おそらく＃15040を除いて、コミットで非常に疑わしいものは何もありません。

IMHO （および上記の一致）は、非推奨期間なしでレイズへの切り替えが発生した場合、ダウンストリームで処理するのがはるかに簡単になる種類の変更です。 それがオプションかどうかはわかりませんが：/

または、マルチビルドはブランチをマスターとは異なる方法で処理する可能性があります。

FWIW私は、特に不規則なデータ構造の熱心なユーザーとして、この変更について常に少なくとも-1でしたが、とにかく今、SciPy 1.4.0rc2 prepの何百ものテスト失敗について何をすべきかを理解する必要がありますhttps://github.com/scipy/scipy/pull/11161

今、私は何百ものテストの失敗について何をすべきかを理解する必要があります

簡単なオプションは次のとおりです。

• pytest設定で警告を抑制します
• 問題を開いて後で修正する

使用して私たちで全体のポイントDeprecationWarningの代わりにValueError 、下流プロジェクトやユーザーに正確に行うための猶予期間を与えることでした。

AFAIK、非推奨はリリースブランチにあります。 元に戻しますか？

私たちはそうだと思います、それは雨の問題です。 これで、Pandas、Matplotlib、SciPy、 numpy.testing 、NumPy ufuncs、 ==などで何が壊れているかのリストができました。今すぐ変更を元に戻して、これらすべてを評価/修正する必要があると思います。その後、非推奨を再導入します。

保留中の非推奨警告について妥協することはできますか？

そうすれば、ダウンストリームプロジェクトはそれを無視リストに追加でき、DeprecationWarningに戻ると、再び決定を下すことができます。

「一連の値が与えられた場合、matplotlibがそれらが単一の色であるか色のリストであるかをどのように判断できるか」という元の問題とは異なるようです。 値をndarrayにキャストし、その配列のdtypeをチェックする必要のないソリューションがあるはずだと思います。 ある種の再帰的なis_a_color()関数がより良い解決策かもしれません。

＃15053で1.18.xの変更を元に戻しました。

感情は、scipyとpandas CIを壊すのは、マスターでも一時的に元に戻すのに十分迷惑であるということです。 でも基本的には（1ヶ月以内など）予定通りに戻してほしいです。 しかし、解決策を見つける必要があるかもしれません。 また、パンダが行っている修正は、 catch_warningsを使用しているため、少し気になります。

本当に方法がなく、スレッドセーフな警告抑制が必要な場合。 np.seterrはおそらくそれのためのスロットを保持することができます：/。

「一連の値が与えられた場合、matplotlibがそれらが単一の色であるか色のリストであるかをどのように判断できるか」という元の問題とは異なるようです。

@anntzerが提起する問題はもっと一般的だと思います。 これは、次のようなロジックを使用して、さまざまなタイプの入力を受け取る関数を作成することです。

• ndarray(flexible_input)作成します
• `new_ndarray.dtype.kind == 'O'の場合：これを処理します
• それ以外の場合： use_the_array

そのようなコードにdtype=objectを追加することはできないので、何をすべきでしょうか？

また、パンダが行っている修正は、 catch_warningsを使用しているため、少し気になります。

@sebergはこれに対してsuppress_warnings良くなかったのですか？

@rgommersいいえ、 suppress_warningsは、警告の抑制が永続的であってはならないときに永続的であるという問題を解決しました。 ただし、これは新しいPythonバージョンで修正されているため、実際には必要ありません（ネストをサポートしているため、より優れたプロパティがありますが、スレッドセーフはサポートされていません。Python以外でも可能かどうかはわかりません。もしそうなら、それはおそらく望ましくありません）

問題のあるケースが、私たちが予期していなかった本来の意図（https://numpy.org/neps/nep-0034.html）に反して実行されるかどうかは完全にはわかりません。

とにかく、解決策は、「懸念を評価するが、コンテキスト依存のオブジェクトdtypeが明示的に必要であり、問​​題のある入力を自分で処理する」という方針に沿って古い動作を明示的に有効にすることです。 のようなもの

~~~
np.array（data、dtype = 'allow_object'）

np.array（data、allow_object_dtype = True）

np.array_create_allow_object_dtype（）を使用：
np.array（data）
~~~

すべてがあまりきれいではなく、名前も確実に改善されます。 しかし、これは、動作に依存し、（少なくとも当面は）それを維持したいライブラリにクリーンな方法を提供します。

実際にはmatplotlibの場合ではありません：

with np.forbid_ragged_arrays_immediately():
    np.array(data)

オブジェクトのdtypeを取得するのではなく、本当にエラーをキャッチしたいのでしょうか。

現在マスターに対して保留中の非推奨の復帰はありません。 1.18のように大規模に元に戻す必要はないと思います。これにより、修正も削除されたため、保持したいと思います。 @mattip長期的に何をすべきかを決定するまで、より的を絞った復帰をお願いします。

FWIWこれに当たるmplのほとんどの場所は修正できると思います（多かれ少なかれ再構築することで-ある場合には、コードがはるかに高速になった後...）。
@timhoffmが提案するAPIは、 with np.forbid_ragged_arrays_immediately:よりも優れていると思います。後者は前者（ np.array(..., allow_object=True).dtype == object場合try: with np.forbid: ... except ValueError: ...結局のところ、オブジェクト配列を作成したい場合は、

（繰り返しになりますが、変更は良いものだと思います。それは実行方法の問題です。）

ええ、APIがどのように見えるべきかを理解する必要があります。 多くの人が指摘しているように、現在2つの主要な問題があります。

1. objectと"allow ragged"交絡。 オブジェクトのタイプが妥当な場合（たとえばDecimal ）、実際には警告/エラーを取得したいが、 dtype=objectを渡す必要がある場合もあります。
2. 新しい動作にオプトインしたり、古い動作を（警告なしで）使用し続ける方法はありません。 少なくともオプトインは内部使用に必要であると思われますが、提供しない場合、基本的に（おそらく間接的に）これらのケースに遭遇するのはエンドユーザーのみであると想定しますか？

最後に、コードに詰め込む方法を理解する必要があります:)。 ndminは、少なくとも不規則な振る舞いを制御するフラッグを詰め込むためのもう1つのターゲットである可能性があります。

現在マスターに対して保留中の非推奨の復帰はありません。 1.18のように大規模に元に戻す必要はないと思います。これにより、修正も削除されたため、保持したいと思います。 @mattip長期的に何をすべきかを決定するまで、より的を絞った復帰をお願いします。

完全に元に戻してから、意味のある部分を再導入しても問題は発生しません。 繰り返しになりますが、何かを元に戻すことは、何が良いか悪いかについての価値判断ではありません。マージボタンを押すことで壊れたものの束を壊さないための実用的な方法です。 NEPでは予測されていなかった明らかな影響と未解決の問題があるため、最初に元に戻すことが正しいことです。

まだ元に戻さないという議論-変更がマスターにある間、ダウンストリームCIの実行を活用して、回避策がどのようになるかを試してみることができます

ダウンストリームCIは赤で、それは_非常に_役に立たないです。 これで失敗のリストができました。ここでの生活を少し楽にするために、CIを赤く保つ必要はありません。

そして、少なくともMatplotlibのCIは、マスターブランチではなくpip install --preに対して実行されています

そして、少なくともMatplotlibのCIは、マスターブランチではなくpip install --preに対して実行されています

それはそれが見える夜の車輪から引っ張っています。 変更は1.18.0rc1ですでに元に戻されているため、PyPIから--preを使用してインストールする場合は表示されないはずです。

上記のコメントのいくつかは、NEP 34で提案された変更を再考することになります。このスレッドがこの議論を続けるのに適切な場所であるかどうかはわかりませんが、ここで説明します。 （他の場所で議論する必要がある場合でも害はありません。コメントのコピーと貼り付けは簡​​単です。：smile：また、スラックに関する議論でこれらのコメントのバリエーションを見たことがある人もいます。）

最近これについて考えた後、私は@timhoffmの最初の提案と同じアイデアにdtype引数array 、ハンドルへの関数は不規則形状の入力を1次元オブジェクト配列を作成することによって可能となります。 事実上、これにより、NEP-34より前のdtype=None動作が可能になり、不規則な形状の入力が自動的にオブジェクト配列に変換されます。 dtype他の値（ Noneまたはobject ）が指定されている場合、入力が不規則な形であると非推奨の警告が表示されます。 NumPyの将来のバージョンでは、その警告はエラーに変換されます。

dtype=objectを使用して不規則な形状の入力を処理できるようにすることは、問題の適切な解決策ではないことは明らかだと思います。 理想的には、「オブジェクト配列」の概念を「不規則配列」から切り離します。 ただし、それらを完全に分離することはできません。不規則な配列を処理する場合、唯一の選択肢はオブジェクト配列を作成することだからです。 一方、オブジェクト配列が必要な場合もありますが、不規則な形状の入力をシーケンスのオブジェクト配列に自動的に変換したくない場合があります。

たとえば（ @sebergの最後のコメントの項目1を参照）、 f1 、 f2 、 f3 、およびf4がFractionオブジェクト、そして私はFractionのオブジェクト配列を扱っています。 ジャグ配列の作成には興味がありません。 誤ってa = np.array([f1, f2, [f3, f4]], dtype=object)と書き込んだ場合、NEP 34があるというすべての理由から、エラーを生成する必要があります。ただし、NEP 34を使用すると、長さ3の1次元配列が作成されます。

@timhoffmの2番目の提案など、新しいキーワード引数を追加する代替案は、必要以上に複雑に見えます。 私たちが解決しようとしている問題は、不規則な入力が自動的に1次元オブジェクト配列に変換される「フットガン」です。 この問題は、 dtype=Noneがarray渡された場合にのみ発生します。 古い厄介な動作を維持するためにdtype=Noneをdtype=<special-value-that-enables-ragged-handling>に置き換えるようにユーザーに要求することは、説明しやすいAPIへの単純な変更です。 本当にそれ以上のものが必要ですか？

dtype=objectを使用して不規則な形状の入力の処理を有効にすることは、問題の適切な解決策ではないことは明らかだと思います。 理想的には、「オブジェクト配列」の概念を「不規則配列」から切り離します。

多分、合理的に聞こえます。 NumPyには実際の「ジャグ配列」の概念がないことを指摘するのも良いことです。 これは基本的にサポートされていないものであり（ドキュメント、課題追跡システム、またはメーリングリストで「不規則」を検索して必要かどうかを確認します）、DyNDとXNDがサポートしているものであり、簡潔にするために話し始めただけです。 「ユーザーをつまずかせるnp.array([1, [2, 3]])動作を削除したい」というフレーズ。 したがって、新しいAPIとしての「ジャグ配列」のベイク処理は、細心の注意を払って行う必要があります。これは、私たちが宣伝したいことではありません。 したがって、追加する可能性のあるdtype=some_workaroundの名前を明確にすることをお勧めします。

一般的な意見は、許可することで（多分無限に）廃止を拡張するソリューションを周りに合体されているようだnp.array(vals, dtype=special)それは、ライブラリの使用を行うことができることを意味するのでNEP 34の前に私は、文字列ではなくシングルトンを好むように振る舞うであろうspecial = getattr(np.special, None)とそのコードは、バージョン間で機能します。

次に、名前とそれを公開する場所を決定する必要があります。 おそらくnever_failまたはguess_dimensions ？ どこに公開するかについては、他の内部モジュールではなく、 npにぶら下げたくないので、実際にプライベートインターフェイスであることを示すために_を使用します。

今後の道は、NEP 34を修正し、メーリングリストで議論を公開することだと思います。

演算子の使用に関する問題についてもいくつかの報告があることに注意してください（少なくとも==とoperator.mod ）。 それを無視することを提案していますか、それともどういうわけかその状態を配列に保存することを提案していますか？

ほとんどすべての場合、オペランドの1つがnumpy配列であることがおそらく知られています。 したがって、手動でnumpy配列に変換することで、明確に定義された動作を取得できるはずです。

誰かがoperator.mod例を指摘できますか？

==演算子に関しては、私が見たのはnp.array(vals, dtype=object) == valsようなことvals=[1, [2, 3]] （コードを言い換える）なので、解決策は右側の配列を積極的に作成することです。側。

scipyの失敗の多くは、 np.array([0.25, np.array([0.3])])の形式のようです。ここで、スカラーとndarrayをshape==(1,)と混合すると、次元の検出に失敗し、オブジェクト配列が作成されます。 外部参照gh-15075

誰かがoperator.mod例を指摘できますか？

@jbrockmendelのPandasPRでそれを見ましたが、それ以降は変更されたと思います（コメントに明示的なoperator.modは表示されなくなりました）。

==演算子に関しては、私が見たのはnp.array(vals, dtype=object) == valsようなことvals=[1, [2, 3]] （コードを言い換える）なので、解決策は右側の配列を積極的に作成することです。側。

その時点でnp.array(vals, dtype=object) == np.array(vals, dtype=object)になるので、テストを削除する方がよいでしょう:)

@mattipは書いた：

私は文字列よりもシングルトンを好みます。これは、ライブラリの使用がspecial = getattr（np.special、None）を実行でき、それらのコードがバージョン間で機能することを意味するためです。

それは私には大丈夫だと思います。

次に、名前とそれを公開する場所を決定する必要があります。 おそらくnever_failまたはguess_dimensions ？ どこに公開するかについては、他の内部モジュールではなく、npにぶら下げたくないので、実際にプライベートインターフェイスであることを示すために_を付けます。

これに対する私の現在の仮称はlegacy_auto_dtypeですが、おそらく他にも多くの不満のない名前があります。

名前を非公開にする必要があるかどうかはわかりません。 _private_と_public_の実際的な定義により、これは_public_オブジェクトになります。 それは、例えば、の従来の動作を維持するためにユーザーに手段を提供array(data)書き換えることにより、そのようarray(data, dtype=legacy_auto_dtype) 。 更新されたNEPは、これがレガシー動作を維持するためにコードを変更する方法であると説明すると思います（そうしなければならない人のために）。 その場合、オブジェクトは間違いなくプライベートではありません。 実際、NumPyに無期限に残るのはパブリックオブジェクトのようです。 しかし、おそらく、変更されたNEP34がどのように機能するかについての私の理解は間違っています。

@WarrenWeckesserの官民の説明に同意しました。 公開されているか、NumPy以外の人が使用しないでください。

名前の変更：機能を説明する名前を選択してください。 「レガシー」のようなものは、ほとんど決して良い考えではありません。

機能を説明する名前を選択してください。

auto_object 、 auto_dtype 、 auto ？

少し大声で考えて...

このオブジェクトは何をしますか？

現在、NumPyに通常のnd配列と長さが一致しないサブシーケンスを含むPythonオブジェクトが与えられると、NumPyはobjectデータ型の配列を作成し、オブジェクトは形状の不一致が発生する最初のレベルになりますPythonオブジェクトとして残しました。 たとえば、 array([[1, 2], [1, 2, 3]])形状は(2,) 、 np.array([[1, 2], [3, [99]]])形状は(2, 2)などです。NEP34では、この動作を非推奨にしているため、 「不規則な」入力を持つ配列は、明示的に有効にされていない限り、最終的にエラーになります。 私たちが話している特別な値は、古い振る舞いを可能にします。

そのための良い名前は何ですか？ ragged_as_object ？ inconsistent_shapes_as_object ？

その時点でnp.array(vals, dtype=object) == np.array(vals, dtype=object)になるので、テストを削除する方がよいでしょう:)

ええと、言い換えていました。 実際のテストは、 my_func(vals) == valsがmy_func(vals) == np.array(vals, dtype=object)なるはずです。

dtypeに特別な値を許可するために、NEP34の拡張を提案します。

scipy / scipy＃11310およびscipy / scipy＃11308のテストに合格するために、scipyはこのセンチネルを必要としないようです。

gh-15119が統合され、NEPが再実装されました。 元に戻されない場合は、この問題を解決できます

1.19リリースの前にフォローアップしていなかったので、これを閉じます。 そして、少なくともこの理由は、すべての主要なプロジェクトがそれによって引き起こされた問題の合理的な解決策を見つけることができたために議論が終わったためだと思います。
私が間違っている場合、特にパンダやmatplotlibなどで問題が発生しやすい場合は、訂正してください。ただし、1.19.xリリース候補サイクル中にそのことを聞いたことがあると思います。