Ipython: 埋め込まれたipythonシェルのインタラクティブな使用で未定義のグローバル変数

[LPコメント1：フェルナンドペレス、2010-04-25 23：36：38.673176 + 00：00]

OK、問題は確認できますが（トランクでも）、難しいです。 今のところ、このバグが確認されていることを確認しているので、追跡を続けていますが、修正方法がわかりません。

問題は、埋め込みシェルでは、周囲のスコープを使用するようにグローバル名前空間を更新しようとすることです（これが埋め込みシェルのポイントであり、周囲の状況を確認できます）。 ただし、これにより、ネストされたもの（ローカル関数など）が定義されている場合、Pythonはipythonインタラクティブ名前空間の解決に失敗します。 詳細については、組み込みシェルのmainloop（）メソッドを参照してください。

私はこれを修正する方法についてもっともっと考える必要があります、どんなアイデアも大歓迎です。

ランチパッドで...

ChairmanKは20時間前に書いた：

私も。 関数に加えて、このバグはジェネレータ式にも現れます。

トランク内の同等のコンポーネントは、IPython.frontend.terminal.InteractiveShellEmbedのようです。 しかし、それは他の方法で壊れており、明らかにあまりテストされていません。 誰かがその未来が何であるか知っていますか？

これは＃136と同じ問題でしょうか？

これは修正されました：

amirbar[ipython]> python
Python 2.7.2+ (default, Oct  4 2011, 20:06:09) 
[GCC 4.6.1] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from IPython import embed
>>> embed()
Python 2.7.2+ (default, Oct  4 2011, 20:06:09) 
Type "copyright", "credits" or "license" for more information.

IPython 0.12.dev -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: a = 1

In [2]: def f(x):
   ...:     return a*x
   ...: 

In [3]: f(3)
Out[3]: 3

In [4]: b = 1

In [5]: (lambda : b)()
Out[5]: 1

In [6]: 

誰かがこれの修正に何が入ったのかもう少し説明できますか？ それでも問題が発生しますが、メソッド呼び出しによって1つのレイヤーが削除された場合にのみ、インタラクティブではなくスクリプトから実行した場合に限ります。

OSX10.6.8上のpython2.7.2、ipython 0.11および0.12はどちらも同様の動作を示します（このコメントには0.12を使用）

これは、埋め込まれたIPythonシェルを（目立つように）備えているプロジェクトの問題です。

testembed.py

from IPython import embed

def hi():
    embed()

if __name__ == '__main__':
    #embed()
    hi()

python testembed.pyを使用してコマンドラインでこれを実行し、次のセッションを確認します。

Python 2.7.2 (default, Aug 29 2011, 12:33:18) 
Type "copyright", "credits" or "license" for more information.

IPython 0.12 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: import time

In [2]: def tim():
   ...:     print time.time()
   ...:     

In [3]: tim()
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
[snip] in <module>()
----> 1 tim()

[snip] in tim()
      1 def tim():
----> 2     print time.time()
      3 

NameError: global name 'time' is not defined

In [4]: 

ただし、 hi()への呼び出しをコメントアウトし、 embed()呼び出しに置き換えます。

Python 2.7.2 (default, Aug 29 2011, 12:33:18) 
Type "copyright", "credits" or "license" for more information.

IPython 0.12 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: import time

In [2]: def tim():
    print time.time()
   ...:     

In [3]: tim()
1328639444.29

In [4]: 

突っ込んだ後、ここで使用されているstack_depthパラメーターとこのブロックに関係していると思います： https ：

考え？

これはやや複雑ですが、Python自体の制限だと思います。

表示されている失敗したケースでは、 timeは実際にはグローバル名前空間に配置されません。 hi関数内でembedを呼び出したため、インタラクティブに作成する新しい変数はそれにローカルです。関数。 理想的には、 tim()はクロージャーとして機能し、時間モジュールへの参照を閉じます。 ただし、クロージャは、含まれている関数が一度にコンパイルされた場合にのみ機能するように見えます。 私の知る限り、クロージャを動的に定義する方法はありません。 この簡単な例は失敗します：

def outer():
    import time
    exec("def inner(): return time.time()")
    return inner

outer()()

これはおそらく、ネストされたスコープがPythonに比較的遅れて追加されたためです（2.1では将来のインポートであり、2.2では常にオンでした）。

はい、わかりました。 インタラクティブに書き込んだものをファイルにダンプしてからそのファイルを読み戻す以外は、これについて実際には何もできないようです。おそらく、インタラクティブに実行したいことには複雑すぎます。

ありがとう、ところで。

ここでハープを続けて申し訳ありませんが、それはインタラクティブセッションを非常に不格好に感じさせるだけです：

通常のPython：

>>> d={'one':1, 'two':2}
>>> getkeys=lambda: d.keys()
>>> getkeys()
['two', 'one']

通常のIPython：

In [1]: d={'one':1, 'two':2}

In [2]: getkeys=lambda: d.keys()

In [3]: getkeys()
Out[3]: ['two', 'one']

組み込みIPython：

>>> from IPython import embed
>>> embed()
Python 2.7.2 (default, Aug 29 2011, 12:33:18) 
Type "copyright", "credits" or "license" for more information.

IPython 0.12.dev -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: d={'one':1, 'two':2}

In [2]: getkeys=lambda: d.keys()

In [3]: getkeys()
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
/Users/asadeveloper/Documents/Dev/code/pyon/bin/python in <module>()
----> 1 getkeys()

/Users/asadeveloper/Documents/Dev/code/pyon/bin/python in <lambda>()
----> 1 getkeys=lambda: d.keys()

NameError: global name 'd' is not defined

できることはあまりないと思いますが、通常のpython / ipythonで動的クロージャーを作成できるのに、組み込みバージョンでは作成できない理由がわかりません。

Pythonスコープの奇妙な点により、標準のPython / IPythonでは、実際にはクロージャを作成していません。 dはグローバル変数であり、それらにアクセスするためのルールはクロージャとは異なる働きをします。 各関数は、それが定義されたグローバル名前空間（ getkeys.func_globals ）への参照を保持するため、そこで定義された任意の変数にアクセスできます。

対照的に、クロージャを作成すると、Pythonは、コンパイラによって決定されるように、クロージャが閉じられた各変数への参照を添付しますが、これは、内部関数と外部関数が同時にコンパイルされた場合にのみ機能します。 次のようになります。

In [8]: def outer():
    a = 1
    def inner():
        return a
    return inner
   ...: 

In [9]: f = outer()

In [10]: f
Out[10]: <function __main__.inner>

In [11]: f.func_closure
Out[11]: (<cell at 0x9f5e344: int object at 0x9a830b0>,)

これは、メモリを節約するために行われる可能性があります。クロージャが定義されたローカルスコープへの参照を持っている場合、クロージャが有効な間は、そのスコープの変数を解放できませんでした。

OSX10.7.3でPython2.7.2とIPython0.12.1を使用していますが、まだこの問題が発生しています。 IPython.embed()を呼び出すDjangoの./manage.py shellを実行すると、問題が発生します。 ただし、Pythonシェルまたは単純なスクリプトファイルから手動でembed()を呼び出す場合は、問題はありません。

それについて直接できることは多くありませんが、重要な用途のために、サードパーティにembedから離れるように勧める必要があります。

@takluyverこの場合、ipythonを直接使用する方が良いということですか？

Djangoがこの問題を引き起こさない方法でIPythonを起動することは可能ですが、それは現在私たちが簡単にしている方法ではありません。 この問題は、IPythonが個別のローカル名前空間とグローバル名前空間で開始するときに発生します。 Djangoが個別のローカル名前空間とグローバル名前空間を必要とする理由はありませんが、関数内でembed()を呼び出すことはそれが意味することです。

参考までに、Djangoのコードは次のとおりです。
https://code.djangoproject.com/browser/django/trunk/django/core/management/commands/shell.py

@takluyverそれは理にかなっています、ありがとう！ このためにDjangoチケットを開いています。

@ takluyver 、embed_kernelをマージしてすべての主要部分が配置されたので、これを少しクリーンアップして、使用を少し微調整しやすくしますか？

どのインターフェースが最も理にかなっているのかを見ていきます。

私はまだこの問題で問題を抱えています。 私はそれを引き起こしているものを正確に絞り込んでみました、そして私が判断できる最善のことはそれがUbuntu12.04でのみ起こるということです。 他のサーバーで最新リリースバージョンをすべて試しましたが、正常に動作します。 しかし、ipythonで関数を定義するか、％cpasteを使用して別のファイルから関数を貼り付けると、その関数の内部はグローバルスコープにアクセスできなくなります。 それは基本的に、その場で関数を書くという点で有用なことをすることを不可能にします。

他のツール（Djangoのdebugsqlshellコマンドなど）から呼び出された場合、IPython0.13でこの問題が発生します。 関数を定義するのと同じくらい基本的なことが完全に壊れているのは非常にイライラします。

embed（）は、使用するユーザーにとって間違ったインターフェイスだと思います。 embed（）は
実行中のプログラムの状態を調べることを目的としているため、
ローカル名前空間とグローバル名前空間を分離します。 この問題を回避するには、ipython
単一のインターフェースで開始する必要があります。 すみません、時間がありませんでした
それを行うための最良の方法が何であるかを考え出します。

Ubuntuだけではありません。 debianwheezyもそれを示しています。

FYI、Djangoのチケット@liokmは、上記で作成されhttps://code.djangoproject.com/ticket/18204今を指している、 https://code.djangoproject.com/ticket/17078トランクに固定されているように思われ、 。 1.5で着陸するはずです。

Ipython0.13.2を使用するUbuntuで同じ問題が発生しています

django1.6で修正された

しかし、1.6はまだ安定していません！

しかし、1.6はまだ安定していません！

ソフトウェアは常に安定しているわけではなく、リリース間でもバグが存在する可能性があります。 しかし、IPythonで修正する必要のあるものは何もありません。 ここで何かを行ったとしても、リリースされる前に修正がIPython安定版に含まれることはありません...

問題はipython == 4.2.0でも解決しません。 興味深いことに、ウィンドウの下では問題はありませんが、ubuntuグローバル変数と一緒に認識されません。

使用事例：

from ipywidgets import interact, FloatSlider, IntSlider,RadioButtons, Dropdown

@interact(sv1 = radio_1, Scenario = drop_1, sv2 = slider_2)
def update_map(sv1,sv2, Scenario):

問題が残っています。 IPython 3.1.0、DebianWhezy。

正しく思い出せば、これはしばらくの間修正され、再導入されたようです（macOSでIPython 5.1.0を使用してここで再現：https：//git.io/vPDrJ）。

（編集：修正を誤って覚えている可能性があります。埋め込みを使用する代わりに、必要なものすべてをスタートアップファイルに投げ込んだ可能性があります）

これが回避策としてこのコードを使用している人に役立つ場合に備えて

    def fix_embed_globals(N=0):
        # Get the parent frame
        import inspect
        frame_level0 = inspect.currentframe()
        frame_cur = frame_level0
        N = 2  # I may have this value off by one. I rewrote this function to use only standard calls
        strict = False
        for _ix in range(N + 1):
            frame_next = frame_cur.f_back
            if frame_next is None:
                if strict:
                    raise AssertionError('Frame level %r is root' % _ix)
                else:
                    break
            frame_cur = frame_next
        parent_frame = frame_cur
        # Add locals to parent globals
        parent_frame.f_locals.update(parent_frame.f_globals)
        parent_frame.f_globals['_didfixipyglobals'] = True

名前エラーが発生するたびに、その関数を呼び出すだけです。 現在のフレーム内のすべてのローカルをグローバル辞書に配置します。 そのハッキーですが、ほとんどの状況で機能します。

https://github.com/inducer/pudb/issues/103に記載されているように、埋め込みシェルを使用する際の一時的な回避策は次のとおりです。 globals().update(locals()) （ローカルグローバル変数を定義した後のみ）。

うーん、このバグのマイルストーンを次のバージョンの1つに変更できますか？

完了。

これは修正されますか？

AFAIK、数年前の私のコメントは次のとおりです。

1. Python自体の動作方法によって制限があると思います。 クロージャと動的評価は一緒にうまく機能せず、IPythonはそれを修正できません。 人々はローカル変数をグローバル名前空間に移動するための回避策を見つけましたが、それらはグローバル名前空間を変更しているため、他の問題を引き起こす可能性のあるハックです。 このような回避策をIPythonに組み込む予定はありません。 賢くなりすぎて紹介するよりも、私たちがやっていないことに問題を残したいのです。

2. 人々がembed()欲しいと思った多くの場所でstart_ipython()使用して、この種の問題を回避する必要があります。

分かりません、そしてそれは私を怒らせます。

申し訳ありませんが、空の.pyファイルに入力した場合に機能するものがここでは機能しないことに不満を感じました

しかし、履歴を読み直すと、これはDjangoのmanage.py shellの問題のようです。具体的には、ipythonを使用している時間の90％はそうしていますが、それが事実であることを忘れがちです。

恥ずかしいことに、私はDjango（1.4）の廃止バージョンで多くの作業を行っています

以前のコメントによると、Djangoシェルの新しいバージョンはipythonの使用方法が異なり、問題がない可能性がありますか？ 例： https ：

誤解をお詫びします

はい、Django1.6で修正されたと思います。 本当にアップグレードできない場合は、修正を手動で適用することをお勧めします。 https://github.com/django/django/commit/3570ff734e93f493e023b912c9a97101f605f7f5のようです

今日、 ＃10695に投稿されている回避策を見つけました。 IPythonが関数内に埋め込まれていない場合のより簡単な処理が、このスレッドに示され