Faraday: `middleware_mutex` est racé.

Créé le 23 oct. 2019 · 9Commentaires · Source: lostisland/faraday

#!/usr/bin/env ruby

# Taken from faraday internals
def middleware_mutex(&block)
    <strong i="5">@middleware_mutex</strong> ||= begin
        require 'monitor'
        puts "I'm making a monitor!"
        Monitor.new
    end
    puts @middleware_mutex.inspect
    @middleware_mutex.synchronize(&block)
end


threads = 10.times.collect do
    Thread.new do
        middleware_mutex do
            puts "I got the power!"
        end
    end
end

threads.each(&:join)

Voici un exemple de sortie sur 2.6 :

koyoko% rvm use 2.6          
Using /home/samuel/.rvm/gems/ruby-2.6.3
^[[A%                                                                                                                                                         koyoko% ./middleware_mutex.rb
I'm making a monitor!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055fb2217ec60 @mon_mutex=#<Thread::Mutex:0x000055fb2217ec10>, @mon_mutex_owner_object_id=47268548572720, @mon_owner=nil, @mon_count=0>
I got the power!
koyoko% ./middleware_mutex.rb
I'm making a monitor!
I'm making a monitor!
#<Monitor:0x000055f197e82388 @mon_mutex=#<Thread::Mutex:0x000055f197e82338>, @mon_mutex_owner_object_id=47248062026180, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e81eb0 @mon_mutex=#<Thread::Mutex:0x000055f197e81e60>, @mon_mutex_owner_object_id=47248062025560, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e81b90 @mon_mutex=#<Thread::Mutex:0x000055f197e81b40>, @mon_mutex_owner_object_id=47248062025160, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e81938 @mon_mutex=#<Thread::Mutex:0x000055f197e818e8>, @mon_mutex_owner_object_id=47248062024860, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e816e0 @mon_mutex=#<Thread::Mutex:0x000055f197e81690>, @mon_mutex_owner_object_id=47248062024560, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x000055f197e827c0 @mon_mutex=#<Thread::Mutex:0x000055f197e82590>, @mon_mutex_owner_object_id=47248062026720, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e81438 @mon_mutex=#<Thread::Mutex:0x000055f197e813e8>, @mon_mutex_owner_object_id=47248062024220, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e811e0 @mon_mutex=#<Thread::Mutex:0x000055f197e81190>, @mon_mutex_owner_object_id=47248062023920, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e80f88 @mon_mutex=#<Thread::Mutex:0x000055f197e80f38>, @mon_mutex_owner_object_id=47248062023620, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!
#<Monitor:0x000055f197e80d30 @mon_mutex=#<Thread::Mutex:0x000055f197e80ce0>, @mon_mutex_owner_object_id=47248062023320, @mon_owner=nil, @mon_count=0>
I got the power!

Voici un exemple de sortie sur jruby :

koyoko% rvm use jruby        
Using /home/samuel/.rvm/gems/jruby-9.2.6.0
koyoko% ./middleware_mutex.rb
I'm making a monitor!
I'm making a monitor!
I'm making a monitor!
#<Monitor:0x7ea668b0 @mon_mutex=#<Thread::Mutex:0x3027cbd3>, @mon_owner=nil, @mon_count=0>
I got the power!
I'm making a monitor!I'm making a monitor!#<Monitor:0x53ca91a5 @mon_mutex=#<Thread::Mutex:0x57f50f04>, @mon_owner=nil, @mon_count=0>I'm making a monitor!
#<Monitor:0x1b5e79ce @mon_mutex=#<Thread::Mutex:0x159994d5>, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x67589eb3 @mon_mutex=#<Thread::Mutex:0x63671680>, @mon_owner=nil, @mon_count=1>#<Monitor:0x1b5e79ce @mon_mutex=#<Thread::Mutex:0x159994d5>, @mon_owner=nil, @mon_count=0>
I got the power!
#<Monitor:0x67589eb3 @mon_mutex=#<Thread::Mutex:0x63671680>, @mon_owner=nil, @mon_count=0>
I got the power!

#<Monitor:0x49c2c95a @mon_mutex=#<Thread::Mutex:0xcc04e06>, @mon_owner=nil, @mon_count=0>
I got the power!

I'm making a monitor!#<Monitor:0x1b5e79ce @mon_mutex=#<Thread::Mutex:0x159994d5>, @mon_owner=nil, @mon_count=0>
#<Monitor:0x6fa38df1 @mon_mutex=#<Thread::Mutex:0x756e0d98>, @mon_owner=nil, @mon_count=0>
I got the power!
I got the power!

#<Monitor:0x4a9f0f52 @mon_mutex=#<Thread::Mutex:0x600dfde7>, @mon_owner=nil, @mon_count=0>

I got the power!

I got the power!
I got the power!

Source

ioquatix

Commentaire le plus utile

@ioquatix

$ xsel -b | ruby --dump=insns
...
== disasm: #<ISeq:middleware_mutex@-:1 (1,0)-(9,3)> (catch: FALSE)
local table (size: 1, argc: 0 [opts: 0, rest: -1, post: 0, block: 0, kw: -1@-1, kwrest: -1])
[ 1] block@0<Block>
0000 putnil                                                           (   2)[LiCa]
0001 defined                      instance-variable, :<strong i="7">@middleware_mutex</strong>, false
0005 branchunless                 14
0007 getinstancevariable          :<strong i="8">@middleware_mutex</strong>, <is:0>
0010 dup
0011 branchif                     42
0013 pop
0014 putself                                                          (   3)[Li]
0015 putstring                    "monitor"
0017 opt_send_without_block       <callinfo!mid:require, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0020 pop
0021 putself                                                          (   4)[Li]
0022 putstring                    "I'm making a monitor!"
0024 opt_send_without_block       <callinfo!mid:puts, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0027 pop
0028 opt_getinlinecache           35, <is:1>                          (   5)[Li]
0031 getconstant                  :Monitor
0033 opt_setinlinecache           <is:1>
0035 opt_send_without_block       <callinfo!mid:new, argc:0, ARGS_SIMPLE>, <callcache>
0038 dup                                                              (   2)
0039 setinstancevariable          :<strong i="9">@middleware_mutex</strong>, <is:0>
0042 pop
0043 putself                                                          (   7)[Li]
0044 getinstancevariable          :<strong i="10">@middleware_mutex</strong>, <is:0>
0047 opt_send_without_block       <callinfo!mid:inspect, argc:0, ARGS_SIMPLE>, <callcache>
0050 opt_send_without_block       <callinfo!mid:puts, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0053 pop
0054 getinstancevariable          :<strong i="11">@middleware_mutex</strong>, <is:0>          (   8)[Li]
0057 getblockparamproxy           block<strong i="12">@0</strong>, 0
0060 send                         <callinfo!mid:synchronize, argc:0, ARGS_BLOCKARG>, <callcache>, nil
0064 leave                                                            (   9)[Re]

Donc ||= est comme :

if defined?(@middleware_mutex)
  <strong i="17">@middleware_mutex</strong>
else
  <strong i="18">@middleware_mutex</strong> = expression
end

Pour qu'il ne soit pas prioritaire en IRM, nous aurions besoin :

if defined?(@middleware_mutex)
  <strong i="22">@middleware_mutex</strong>
else
  result = expression
  # special bytecode to do `<strong i="23">@middleware_mutex</strong> = result unless defined?(@middleware_mutex)` atomically
end

Bien sûr, cela a un coût car il s'agit d'une vérification supplémentaire avant l'attribution.

Et le bloc s'exécuterait encore plusieurs fois, essayer de résoudre ce problème automatiquement conduirait probablement à un blocage et à une surcharge élevée, de sorte qu'il est préférable de laisser cette partie au code utilisateur.

eregon le 26 oct. 2019

👍2 ❤1

Tous les 9 commentaires

Si vous exécutez ceci sur JRuby, <strong i="5">@middleware_mutex</strong> ||= begin n'est pas atomique et non seulement vous finissez par exécuter le bloc plusieurs fois, mais @middleware_mutex est en fait défini plusieurs fois sur différents moniteurs. Il semble que cela puisse également se produire sur 2.6 puisque puts peut introduire un changement de contexte de blocage/thread.

ioquatix le 23 oct. 2019

_Merci pour l'analyse !_

olleolleolle le 23 oct. 2019

👍2

Il est assez intéressant de voir ||= ne garantit pas une affectation unique, même en IRM.

eregon le 26 oct. 2019

@eregon Ouais, j'ai été surpris par ça aussi. Pouvons-nous vider les instructions pour voir ce qui se passe réellement ?

ioquatix le 26 oct. 2019

@ioquatix

$ xsel -b | ruby --dump=insns
...
== disasm: #<ISeq:middleware_mutex@-:1 (1,0)-(9,3)> (catch: FALSE)
local table (size: 1, argc: 0 [opts: 0, rest: -1, post: 0, block: 0, kw: -1@-1, kwrest: -1])
[ 1] block@0<Block>
0000 putnil                                                           (   2)[LiCa]
0001 defined                      instance-variable, :<strong i="7">@middleware_mutex</strong>, false
0005 branchunless                 14
0007 getinstancevariable          :<strong i="8">@middleware_mutex</strong>, <is:0>
0010 dup
0011 branchif                     42
0013 pop
0014 putself                                                          (   3)[Li]
0015 putstring                    "monitor"
0017 opt_send_without_block       <callinfo!mid:require, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0020 pop
0021 putself                                                          (   4)[Li]
0022 putstring                    "I'm making a monitor!"
0024 opt_send_without_block       <callinfo!mid:puts, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0027 pop
0028 opt_getinlinecache           35, <is:1>                          (   5)[Li]
0031 getconstant                  :Monitor
0033 opt_setinlinecache           <is:1>
0035 opt_send_without_block       <callinfo!mid:new, argc:0, ARGS_SIMPLE>, <callcache>
0038 dup                                                              (   2)
0039 setinstancevariable          :<strong i="9">@middleware_mutex</strong>, <is:0>
0042 pop
0043 putself                                                          (   7)[Li]
0044 getinstancevariable          :<strong i="10">@middleware_mutex</strong>, <is:0>
0047 opt_send_without_block       <callinfo!mid:inspect, argc:0, ARGS_SIMPLE>, <callcache>
0050 opt_send_without_block       <callinfo!mid:puts, argc:1, FCALL|ARGS_SIMPLE>, <callcache>
0053 pop
0054 getinstancevariable          :<strong i="11">@middleware_mutex</strong>, <is:0>          (   8)[Li]
0057 getblockparamproxy           block<strong i="12">@0</strong>, 0
0060 send                         <callinfo!mid:synchronize, argc:0, ARGS_BLOCKARG>, <callcache>, nil
0064 leave                                                            (   9)[Re]

Donc ||= est comme :

if defined?(@middleware_mutex)
  <strong i="17">@middleware_mutex</strong>
else
  <strong i="18">@middleware_mutex</strong> = expression
end

Pour qu'il ne soit pas prioritaire en IRM, nous aurions besoin :

if defined?(@middleware_mutex)
  <strong i="22">@middleware_mutex</strong>
else
  result = expression
  # special bytecode to do `<strong i="23">@middleware_mutex</strong> = result unless defined?(@middleware_mutex)` atomically
end

Bien sûr, cela a un coût car il s'agit d'une vérification supplémentaire avant l'attribution.

eregon le 26 oct. 2019

👍2 ❤1

Oh, je suis totalement d'accord que ce n'est pas quelque chose que nous pouvons réparer automatiquement, le code est horriblement cassé par rapport au POV de la sécurité des threads et rendre ||= atomic ne résoudra pas cela.

ioquatix le 26 oct. 2019

Wow merci pour l'analyse @ioquatix et encore une fois votre expertise sur ce sujet est clairement visible.
C'est, pour autant que je sache, un morceau de code assez ancien qui, je suppose, a été introduit spécifiquement pour prendre en charge JRuby et d'autres implémentations ruby simultanées.

Aujourd'hui, nous ne prenons plus officiellement en charge JRuby et d'autres rubis non IRM, principalement parce que je pense que nous n'avons pas les connaissances nécessaires pour le faire, mais nous avons simplement laissé cela intact dans l'espoir que cela aiderait au moins.

Je ne sais pas vraiment comment aborder cela, si vous ou @eregon pouviez nous orienter dans la bonne direction, je serais heureux d'acquérir des connaissances et d'y jeter un coup d'œil 🤓

iMacTia le 30 oct. 2019

👍1

C'est aussi un bogue sur CRuby. Je peux soumettre un PR.

ioquatix le 30 oct. 2019

🚀1 👍1

J'ai essayé une solution dans #1074. J'ai une autre idée qui consiste à convertir le module MiddlewareRegistry en une classe. Donc au lieu de ça :

https://github.com/lostisland/faraday/blob/d51a6c6979363c820d81a9166847ab09d30fae2b/lib/faraday/response.rb#L26 -L28

Cela pourrait être quelque chose comme :

module Faraday
  class Response
    self.middleware_registry = MiddlewareRegistry.new(File.expand_path('response', __dir__),
      raise_error: [:RaiseError, 'raise_error'],
      logger: [:Logger, 'logger'],
    )

Cela ne repose pas sur les hooks de cycle de vie de classe. Il est assez clair que MiddlewareRegistry est instancié ici lorsque le ruby est interprété.

class MiddlewareRegistry
  def initialize
    <strong i="14">@mutex</strong> = Monitor.new
  end
end

technoweenie le 13 nov. 2019

Cette page vous a été utile?

0 / 5 - 0 notes

Questions connexes

La validation d'URI échoue lorsqu'elle contient des caractères réservés

luizkowalski · 3Commentaires

Besoin d'aide pour télécharger json et fichier en tant que multipart/form-data

ryanbyon · 3Commentaires

Comment utiliser la nouvelle tentative avec la méthode POST

yusefu · 3Commentaires

Remplacement des paramètres de proxy environnementaux

jeffb-stell · 5Commentaires

Les verbes TRACE et CONNECT ne sont pas pris en charge

QuinnWilton · 4Commentaires