рдмрдЧ рдХрд╛ рд╡рд░реНрдгрди рдХрд░реЗрдВ
рд╣рдо рджреЗрдЦрддреЗ рд╣реИрдВ рдХрд┐ рдмрд╣реБрдд рд╕рд╛рд░реЗ рдкреЙрдб ContainerCreating
рд╕реНрдерд┐рддрд┐ рдореЗрдВ рдмреЗрддрд░рддреАрдм рдврдВрдЧ рд╕реЗ рдлрдВрд╕ рдЧрдП рд╣реИрдВ рдХреНрдпреЛрдВрдХрд┐ рд╡реЗ рдиреЗрдЯрдПрдк рдкреАрд╡реАрд╕реА рдХреЛ рдорд╛рдЙрдВрдЯ рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред iSCSI рдбрд┐рд╡рд╛рдЗрд╕ рдХреА рдЬрд╛рдирдХрд╛рд░реА рдФрд░ рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рдбреЗрдореЛрдВрд╕реЗрдЯ рд▓реЙрдЧ рдкреНрд░рд╛рдкреНрдд рдХрд░рддреЗ рд╕рдордп рдкреЙрдбреНрд╕ рдХрд╛ рд╡рд░реНрдгрди рдЯрд╛рдЗрдордЖрдЙрдЯ рдХреЗ рд▓рд┐рдП рдЗрдВрдЧрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдпрд╣ рд╣реЛрд╕реНрдЯ рдкрд░ blkid
рдХрдорд╛рдВрдб рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░рддреЗ рд╕рдордп рдЯрд╛рдЗрдордЖрдЙрдЯ рдХреЗ рдХрд╛рд░рдг рд╣реИред
рдпрд╣ рдПрдХ рдпрд╛рджреГрдЪреНрдЫрд┐рдХ рдШрдЯрдирд╛ рд╣реИ рдФрд░ рдЕрднреА рддрдХ рдХреБрдЫ рдкреАрд╡реАрд╕реА рдФрд░ рд╣реЛрд╕реНрдЯ рдХреЗ рд╕рд╛рде рд╕рд╣рд╕рдВрдмрдВрдзрд┐рдд рдирд╣реАрдВ рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
рдкрд░реНрдпрд╛рд╡рд░рдг
рдкреНрд░рдЬрдирди рдХрд░рдирд╛
рд╣рдо рдЗрд╕реЗ рдЕрдкрдиреЗ рдХреНрд▓рд╕реНрдЯрд░ рдиреЛрдбреНрд╕ рдкрд░ рдмреЗрддрд░рддреАрдм рдврдВрдЧ рд╕реЗ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ (рд╣реЛрд╕реНрдЯреНрд╕ рдХреЗ рдХрд┐рд╕реА рд╡рд┐рд╢реЗрд╖ рд╕рдореВрд╣ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рдирд╣реАрдВ рд▓рдЧрддрд╛ рд╣реИ)
рдЕрдкреЗрдХреНрд╖рд┐рддреН рд╡реНрдпрд╡рд╣рд╛рд░
рдЙрдЪрд┐рдд рд╕рдордп рд╡рд┐рдВрдбреЛ рдХреЗ рднреАрддрд░ рдПрдХ рд╕реБрд╕рдВрдЧрдд рдорд╛рдЙрдВрдЯ рд╡реНрдпрд╡рд╣рд╛рд░ред
рдЕрддрд┐рд░рд┐рдХреНрдд рд╕рдВрджрд░реНрдн
"рдЕрдЯрдХ" рдкреЙрдб рдХрд╛ рд╡рд░реНрдгрди рдХрд░рдХреЗ рд╣рдо рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ:
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedMount 51m (x5 over 72m) kubelet Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[data thanos-storage vault-tls thanos-store-token-lj9j5]: timed out waiting for the condition
Warning FailedMount 42m (x3 over 56m) kubelet Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[thanos-storage vault-tls thanos-store-token-lj9j5 data]: timed out waiting for the condition
Warning FailedMount 17m (x15 over 74m) kubelet Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[vault-tls thanos-store-token-lj9j5 data thanos-storage]: timed out waiting for the condition
Warning FailedMount 14m (x22 over 74m) kubelet MountVolume.MountDevice failed for volume "pvc-e22cdf07-acfc-42af-a46a-bffd5ac32514" : rpc error: code = Internal desc = error getting iSCSI device information: process killed after timeout
Warning FailedMount 4m11s (x4 over 69m) kubelet Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[thanos-store-token-lj9j5 data thanos-storage vault-tls]: timed out waiting for the condition
рддреНрд░рд┐рд╢реВрд▓ рдбреЗрдореЛрдВрд╕реЗрдЯ рд╕рдВрдмрдВрдзрд┐рдд рдкреЙрдб рд▓реЙрдЧ рд╕реЗ рдПрдХ рд╣реА рдиреЛрдб рдкрд░:
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.execCommandWithTimeout." args="[if=/dev/sdc bs=4096 count=1 status=none]" command=dd timeoutSeconds=5s
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.execCommandWithTimeout." command=dd error="<nil>"
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.ensureDeviceReadable"
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.getFSType" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.waitForDevice" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg="Device found." device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.waitForDevice" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.execCommandWithTimeout." args="[/dev/sdc]" command=blkid timeoutSeconds=5s
time="2020-10-14T14:32:46Z" level=error msg="process killed after timeout" process=blkid
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.execCommandWithTimeout." command=blkid error="process killed after timeout"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.getFSType"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.getDeviceInfoForLUN" iSCSINodeName="iqn.1992-08.com.netapp:sn.0205ffce026911ebb4d9d039ea1a7953:vs.9" lunID=1 needFSType=true
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.AttachISCSIVolume"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< NodeStageVolume" Method=NodeStageVolume Type=CSI_Node
time="2020-10-14T14:32:46Z" level=debug msg="Released shared lock (NodeStageVolume-pvc-e22cdf07-acfc-42af-a46a-bffd5ac32514)." lock=csi_node_server
time="2020-10-14T14:32:46Z" level=error msg="GRPC error: rpc error: code = Internal desc = error getting iSCSI device information: process killed after timeout"
рдРрд╕рд╛ рд▓рдЧрддрд╛ рд╣реИ рдХрд┐ blkid
рдЕрдиреБрдордд рд╕рдордп рд╡рд┐рдВрдбреЛ рдореЗрдВ рд╡рд╛рдкрд╕ рдирд╣реАрдВ рдЖ рд╕рдХрддрд╛ (?)
рдЕрдЧрд░ рд╣рдо рд╣реЛрд╕реНрдЯ рдореЗрдВ ssh рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдЙрд╕реА рдХрдорд╛рдВрдб рдХреЛ рдЖрдЬрд╝рдорд╛рддреЗ рд╣реИрдВ:
$ time sudo blkid /dev/sdc
/dev/sdc: UUID="f593b708-ed88-47b7-88ce-f9b8c85ab96b" TYPE="ext4"
real 0m36.393s
user 0m0.016s
sys 0m0.021s
рд╣рдорд╛рд░рд╛ рдмреИрдХрдПрдВрдб рдЬреЗрд╕рди рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди:
```
{
"рд╕рдВрд╕реНрдХрд░рдг 1,
"storageDriverName": "ontap-san",
"рдкреНрд░рдмрдВрдзрдирдПрд▓рдЖрдИрдПрдл": "10.20.50.6",
"рдбреЗрдЯрд╛рдПрд▓рдЖрдИрдПрдл": "10.20.50.4",
"рдПрд╕рд╡реАрдПрдо": "dev_kube",
"igroupName": "dev_kube_trident",
"рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рдирд╛рдо": "xxxxxxxxx",
"рдкрд╛рд╕рд╡рд░реНрдб": "xxxxxxxxxx",
"рдбрд┐рдлрд╝реЙрд▓реНрдЯ": {
"рдПрдиреНрдХреНрд░рд┐рдкреНрд╢рди": "рд╕рдЪ"
}
}
````
рд╣рдо рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдпрд╣рд╛рдВ рдлрдВрд╕ рдЧрдП рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдЗрд╕ рдкрд░ рдХрд┐рд╕реА рднреА рдорджрдж рдХреА рдмрд╣реБрдд рд╕рд░рд╛рд╣рдирд╛ рдХреА рдЬрд╛рдПрдЧреА!
рдирдорд╕реНрддреЗ @ffilippopoulos ,
рдЬреИрд╕рд╛ рдХрд┐ рдЖрдкрдиреЗ рдмрддрд╛рдпрд╛ рдХрд┐ рдмреНрд▓рдХрд┐рдб рдПрдХ рд╣реЛрд╕реНрдЯ рд▓реЗрд╡рд▓ рдХрдорд╛рдВрдб рд╣реИред рд╕рдордп рд╕рдорд╛рдкреНрдд рд╣реЛрдиреЗ рд╕реЗ рдкрд╣рд▓реЗ рдЗрд╕ рдЖрджреЗрд╢ рдХреА рд╡рд╛рдкрд╕реА рдХреА рдХреНрд╖рдорддрд╛ рдХреБрдЫ рдРрд╕рд╛ рдирд╣реАрдВ рд╣реИ рдЬрд┐рд╕реЗ рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░ рд╕рдХрддрд╛ рд╣реИред рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рдореВрд▓ рд░реВрдк рд╕реЗ рд╡рд╣реА рдХрд╛рдо рдХрд░ рд░рд╣рд╛ рд╣реИ рдЬреЛ рдЖрдк рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдЬрдм рдЖрдк рдореЗрдЬрдмрд╛рди рдореЗрдВ рдПрд╕рдПрд╕рдПрдЪ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рдПрдХ рдЦреЛрд▓ рд╕реЗ рдмреНрд▓рдХрд┐рдб рдЪрд▓рд╛рддреЗ рд╣реИрдВред рдХреНрдпрд╛ рдЖрдкрдиреЗ рдореЗрдЬрдмрд╛рди рдкрд░ рднрд╛рд░ рдХреА рдЬрд╛рдВрдЪ рдХреА рд╣реИ?
рдЗрд╕рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдЕрдЧрд░ рдЖрдкрдХреЛ рдЗрд╕ рдореБрджреНрджреЗ рдкрд░ рддрддреНрдХрд╛рд▓ рд╕рд╣рд╛рдпрддрд╛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ, рддреЛ рдХреГрдкрдпрд╛ рдиреЗрдЯрдПрдк рд╕рдкреЛрд░реНрдЯ рд╕реЗ рд╕рдВрдкрд░реНрдХ рдХрд░реЗрдВред
NetApp рдХреЗ рд╕рд╛рде рдХреЗрд╕ рдЦреЛрд▓рдиреЗ рдХреЗ рд▓рд┐рдП, рдХреГрдкрдпрд╛ https://mysupport.netapp.com/site/ рдкрд░ рдЬрд╛рдПрдБред
рдиреАрдЪреЗ рдмрд╛рдИрдВ рдУрд░, 'рд╕рд╣рд╛рдпрддрд╛ рд╕реЗ рд╕рдВрдкрд░реНрдХ рдХрд░реЗрдВ' рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВ
рдХреЙрд▓ рдХрд░рдиреЗ рдпрд╛ рд▓реЙрдЧ рдЗрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрдкрдиреЗ рдХреНрд╖реЗрддреНрд░ рд╕реЗ рдЙрдкрдпреБрдХреНрдд рдирдВрдмрд░ рдЦреЛрдЬреЗрдВред
рдиреЛрдЯ: рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рдкреЗрдЬ рдкрд░ рд╕реВрдЪреАрдмрджреНрдз рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рд╕рдорд░реНрдерд┐рдд рдиреЗрдЯрдПрдк рд╕реНрдЯреЛрд░реЗрдЬ рдПрд╕рдПрди рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдиреЗрдЯрдПрдк рджреНрд╡рд╛рд░рд╛ рд╕рдорд░реНрдерд┐рдд рдЙрддреНрдкрд╛рдж рд╣реИред
рдиреЗрдЯрдПрдк рд╕реНрдЯреЛрд░реЗрдЬ рдПрд╕рдПрди рдкрд░ рдХреЗрд╕ рдЦреЛрд▓реЗрдВ, рдФрд░ рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╡рд┐рд╡рд░рдг рдкреНрд░рджрд╛рди рдХрд░реЗрдВред
рдЙрддреНрдкрд╛рдж рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░рдирд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ, рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдкрд░ рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рд╣реИ, рдФрд░ рд╡рд┐рд╡рд░рдг рдкреНрд░рджрд╛рди рдХрд░реЗрдВред рдЗрд╕ рдЧрд┐рдЯрд╣рдм рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рдХрд░реЗрдВред
рдорд╛рдорд▓реЗ рдХреЛ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреЗ рд▓рд┐рдП рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рд╕рдкреЛрд░реНрдЯ рдЗрдВрдЬреАрдирд┐рдпрд░реЛрдВ рдХреЛ рдирд┐рд░реНрджреЗрд╢рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛ред
рдЕрд░реЗ @gnarl рддреНрд╡рд░рд┐рдд рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдХреЗ рд▓рд┐рдП рдзрдиреНрдпрд╡рд╛рджред рдЬрд╣рд╛рдВ рддрдХ тАЛтАЛтАЛтАЛрдореИрдВ рджреЗрдЦ рд╕рдХрддрд╛ рд╣реВрдВ рдХрд┐ рдЗрд╕ рдХрдорд╛рдВрдб рдкрд░ 5 рд╕реЗрдХрдВрдб рдХрд╛ рдХрдард┐рди рд╕рдордп рд╣реИ, рдЬреЛ рдХрд┐ рддреНрд░рд┐рд╢реВрд▓ рдХреНрд╖реЗрддреНрд░ рдкрд░ рд╣реИ: https://github.com/NetApp/trident/blob/0a245d3895af31f910a58c2f26e5a0f8b25f34f8/utils/osutils.go#L2306
рдЬрд╣рд╛рдВ рддрдХ тАЛтАЛтАЛтАЛрдореИрдВ рджреЗрдЦ рд╕рдХрддрд╛ рд╣реВрдВ рдХрд┐ рд╣рдорд╛рд░реЗ рдиреЛрдбреНрд╕ рдмрд┐рд▓реНрдХреБрд▓ рд▓реЛрдб рдирд╣реАрдВ рд╣реБрдП рд╣реИрдВ (рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП рдиреЛрдб рдкрд░ рдЕрдм рд╣рдо рд╕рдорд╕реНрдпрд╛ load average: 0.54, 0.62, 0.61
рджреЗрдЦрддреЗ рд╣реИрдВ) рдФрд░ рдпрд╣ рдирд╣реАрдВ рд╕реЛрдЪрддреЗ рдХрд┐ рдпрд╣ рд╣рдорд╛рд░реЗ рджреНрд╡рд╛рд░рд╛ рджреЗрдЦреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХрд░реЗрдЧрд╛ред
рдХреНрдпрд╛ рд╣рд╛рд░реНрдбрдХреЛрдбреЗрдб рдЯрд╛рдЗрдордЖрдЙрдЯ рдХрд╛ рдХреЛрдИ рдХрд╛рд░рдг рд╣реИ? рдХреНрдпрд╛ рдпрд╣ рдХрд┐рд╕реА рдРрд╕реЗ рдорд╛рдорд▓реЗ рдХреЛ рд░реЛрдХ рд░рд╣рд╛ рд╣реИ рдЬрд┐рд╕рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╣рдореЗрдВ рдЬрд╛рдирдХрд╛рд░реА рдирд╣реАрдВ рд╣реИ?
@ffilippopoulos , рдмреНрд▓рдХрд┐рдб рдХреЛ рджреМрдбрд╝рдиреЗ рдореЗрдВ рд▓рдЧрднрдЧ 5 рд╕реЗрдХрдВрдб рдХрд╛ рд╕рдордп рдирд╣реАрдВ рд▓рдЧрдирд╛ рдЪрд╛рд╣рд┐рдПред рдпрджрд┐ рдЖрдкрдХреЗ рд╣реЛрд╕реНрдЯ рдкрд░ рд▓реЛрдб рдЕрдЪреНрдЫрд╛ рджрд┐рдЦрддрд╛ рд╣реИ, рддреЛ рдХреНрдпрд╛ рдЖрдк рд╣реЛрд╕реНрдЯ рдФрд░ рдиреЗрдЯрдПрдк рдбреЗрдЯрд╛рдПрд▓рдЖрдИрдПрдл рдХреЗ рдмреАрдЪ рдиреЗрдЯрд╡рд░реНрдХ рд╡рд┐рд▓рдВрдмрддрд╛ рдХреА рдЬрд╛рдВрдЪ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ?
рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдмреНрд▓рдХрд┐рдб рдкрд░ рдПрдХ рдХрдард┐рди рд╕рдордп рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЕрдЧрд░ рдмреНрд▓рдХрд┐рдб рдХрд╛рдо рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ рддреЛ рдЯреНрд░рд╛рдЗрдбреЗрдВрдЯ рд╕реБрд░рдХреНрд╖рд┐рдд рд░реВрдк рд╕реЗ рд╡реЙрд▓реНрдпреВрдо рд╕рдВрд▓рдЧреНрди рдирд╣реАрдВ рдХрд░ рд╕рдХрддрд╛ рд╣реИред
рдЗрд╕реЗ рдмрдВрдж рдХрд░рдирд╛ рдХреНрдпреЛрдВрдХрд┐ рд╣рдордиреЗ рдЗрд╕реЗ рдирд╣реАрдВ рджреЗрдЦрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рд╣рдордиреЗ рдЕрдкрдиреЗ рдиреЗрдЯрд╡рд░реНрдХ рд▓рд┐рдВрдХ рдХреА рдЧрддрд┐ рдХреЛ рдбреАрдмрдЧ рдХрд┐рдпрд╛ рд╣реИред рдорджрдж рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд - рдмрд╣реБрдд рдзрдиреНрдпрд╡рд╛рдж! :))
рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА
рдЗрд╕реЗ рдмрдВрдж рдХрд░рдирд╛ рдХреНрдпреЛрдВрдХрд┐ рд╣рдордиреЗ рдЗрд╕реЗ рдирд╣реАрдВ рджреЗрдЦрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рд╣рдордиреЗ рдЕрдкрдиреЗ рдиреЗрдЯрд╡рд░реНрдХ рд▓рд┐рдВрдХ рдХреА рдЧрддрд┐ рдХреЛ рдбреАрдмрдЧ рдХрд┐рдпрд╛ рд╣реИред рдорджрдж рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд - рдмрд╣реБрдд рдзрдиреНрдпрд╡рд╛рдж! :))