Libseccomp: RFE: seccomp_rule_add가 v2.4.0 이후로 매우 느려졌습니다.

안녕하세요 @varqox입니다.

예, syscall 리졸버 함수는 약간의 개선을 사용할 수 있습니다. 실제로 코드를 보면 다음과 같은 몇 가지 주석이 표시됩니다.

/* XXX - plenty of room for future improvement here */

해당 코드를 개선하려는 경우 도움말을 사용할 수 있습니다!

@pcmoore가 언급했듯이 libseccomp 를 사용하여 seccomp 필터의 _생성_ 속도를 높일 수 있는 충분한 기회가 있습니다. 위에서 귀하의 연구는 개선을 사용할 수 있는 여러 영역 중 하나를 설명했습니다. 이것은 내 사용자에 대한 우려가 아니므로 그것에 집중하지 않았습니다.

_runtime_ 성능과 관련하여 저는 현재 foo.c에서 제공한 것과 같은 큰 필터에 이진 트리를 사용하는 작업을 하고 있습니다. 내부 고객의 초기 결과는 유망해 보이지만 변경 사항에 대해 또 다른 시각을 얻고 싶습니다. 풀 리퀘스트 참조 https://github.com/seccomp/libseccomp/pull/152

알겠습니다. syscall 해결이 개선될 수 있지만 문제의 근본 원인은 아닙니다. 내가 보기 에 db_col_transaction_start() 에서 스냅샷을 생성하는 것 입니다. 원래 규칙에서 해결된 syscall을 해결하기 때문에 느린 arch_filter_rule_add() 가 호출됩니다.

나는 그것을 다음과 같이 본다: 우리는 모든 규칙과 함께 현재 필터의 전체 세트(일명 struct db_filter)를 복제하기를 원하므로 우리가 이미 가지고 있는 모든 필터를 _복사_하는 대신 처음부터 모든 필터를 _구성_합니다. 우리는 처음부터 만들 필요가 없습니다. 우리는 단지 복사본을 원하는 완전한 빌드 필터를 가지고 있습니다. 제가 놓친 부분이 있을지도 모르지만 db_col_transaction_start() 함수에 많은 개선이 이루어진 것 같습니다.

내부 libseccomp db 컬렉션의 모든 상태에서 이를 복제하는 것은 간단한 작업이 아니므로 원래 규칙에서 컬렉션을 재생성하는 것이 훨씬 쉽습니다(코드 관점에서). 원래 규칙을 추적하면 기존 규칙을 "제거"하는 기능을 제공할 수도 있습니다(향후 기능 가능).

이것은 트랜잭션 코드가 개선될 수 없다는 것을 말하는 것이 아닙니다. 확실히 할 수 있습니다. 그러나 현재 코드는 기본적으로 단순함 때문에 있는 그대로입니다.

이 변경으로 인해 사용자의 시간 초과가 발생했습니다. 정말 엄청난 속도만큼 속도가 느려졌습니다.

또 다른 생각으로, 전체 트리가 아닌 트랜잭션 시작 시 규칙만 복제하고 실패한 트랜잭션에서만 트리를 재생성하도록 변경할 수 있습니다. 완벽하지는 않지만 상당한 시간을 되돌려야 합니다.

컨테이너 및 exec 프로세스의 시작 시간으로 인해 성능이 크게 저하되고 사람들이 2.3배로 고정되기 때문에 우리는 무언가를 해야 합니다.

나는 문제의 _"거대한"_ 특성에 대해 더 이상 언급하지 않을 것입니다. 그 관점은 이미 여러 번 만들어졌으며 상대적이고 사용 사례에 따라 의존적이라고 생각합니다. 그러나 v2.4 이전의 libseccomp 릴리스는 공개된(문제 #139) 잠재적인 취약점에 취약하다는 점을 모두에게 상기시키고 싶었습니다.

이 문제가 걱정되는 분들을 위해 현재 v2.5 릴리스로 표시되어 있습니다.

리팩토링을 했고 마이너 릴리스에서 "거대한" 성능 영향을 미치며 사용 사례에 따라 다르다고 말함으로써 도움이 되지 않습니다. 배포판이 2.4로 업데이트됨에 따라 사람들이 알아차리기 시작할 것이기 때문에 이것을 진지하게 받아들이십시오.

@crosbymichael 변경 사항은 단순한 리팩토링이 아니라 문제를 수정하고 커널의 변경 사항을 지원하는 데 필요했습니다(특히 32비트 x86의 소켓 시스템 호출과 같이 다중화 및 직접 호출 시스템 호출을 모두 지원해야 할 필요가 있음).

나는 이것을 날려 버리는 것이 _아닙니다_, 이 문제를 해결하는 방법에 대해 계속 생각하고 있습니다(위의 내 설명 참조). 그리고 내가 이것을 다음 마이너 릴리스를 위한 것으로 표시했다는 사실입니다. 현시점에서는 선동적인 댓글로 인식하기 어려우니, 의도가 아니라면 앞으로 댓글을 달 때 좀 더 신경써주셨으면 합니다. 이 문제의 진행 상황이 마음에 들지 않으면 검토를 위해 패치/PR을 제출하여 언제든지 도움을 받을 수 있습니다.

자신과 다른 사람이 이 문제를 해결하기 위해 고려 중인 모든 사람에게 주의하십시오.

나는 최근에 우리가 거래와 관련하여 우리가 하는 일을 하는 이유를 상기했습니다(모든 것을 미리 복사). 실패 없이 트랜잭션을 롤백할 수 있어야 하기 때문에 이 작업을 수행합니다. 왜요?
정상적인 seccomp_rule_add() 작업은 장애가 발생한 경우에도 필터를 그대로 유지해야 합니다. 일반 규칙 추가의 일부로 다중 부분 트랜잭션(예: x86/s390/s390x/etc의 socket/ipc syscalls)에 실패하면 오류 없이 트랜잭션 시작 시 필터로 되돌릴 수 있어야 합니다( 메모리 압력 등에 관계없이).

규칙 없이 트리를 복제하는 것은 트리의 특성과 트리 내부의 연결로 인해 계속해서 어려울 것입니다. 그러나 내부 트랜잭션을 생성해야 할 때를 선택적으로 선택할 수 있을 것입니다. 필요하지 않은 경우.

나는 이것을 보는 데 조금 더 많은 시간을 할애했고 규칙 추가 중에 의사 결정 트리를 파괴적으로 수정하는 방식 때문에 규칙 추가를 트랜잭션으로 래핑하는 것을 피할 수 있을지 확신이 서지 않습니다. 이것은 내부적으로 트랜잭션 사용을 제한하는 방법을 찾는 대신 속도를 높이는 방법을 찾아야 함을 의미합니다. 고맙게도 해결책을 찾은 것 같습니다. 바로 그림자 나무입니다.

현재 우리는 새로운 트랜잭션을 생성할 때마다 새로운 트리를 만들고 성공 시 폐기합니다. 우리가 보았듯이 일부 사용 사례에서는 엄청나게 느릴 수 있습니다. 제 생각은 커밋 시 중복 트리를 버리는 대신 방금 추가한 규칙을 중복 트리에 추가(현재 필터의 복사본 만들기)하고 "섀도 트랜잭션"으로 유지하여 다음 속도를 높이는 것입니다. 트랜잭션 스냅샷. 몇 가지 참고 사항:

• db_col_transaction_start() 는 존재하는 경우 섀도 트랜잭션을 사용하려고 시도해야 하지만 그렇지 않은 경우 현재 동작으로 폴백해야 합니다.
• db_col_transaction_abort() 는 지금과 같은 방식으로 작동해야 합니다. 이것은 실패한 트랜잭션이 섀도우 트랜잭션을 지우지만(필터를 복원하려면 트리가 필요함) 다음에 성공한 트랜잭션이 섀도우를 복원한다는 것을 의미합니다. 실패한 트랜잭션은 이것이 주요 문제가 되지 않을 만큼 충분히 드물게 발생해야 합니다.
• 다른 작업(예: arch/ABI ops?)에서 섀도우 트랜잭션을 지워야 할 수도 있지만 확인해야 할 사항입니다. 그럼에도 불구하고 섀도우 트랜잭션을 지우는 것은 간단해야 합니다.
• 이것은 규칙 추가 속도를 높일 뿐만 아니라 일반적으로 트랜잭션 속도를 높이는 이점이 있습니다. 이것은 지금은 중요하지 않을 수 있지만 트랜잭션 기능을 사용자에게 노출할 때 유용할 것입니다(BSD "약속"과 같은 메커니즘을 수행하려는 경우 필요함).

오늘 저녁 식사 후 시간이 좀 있어서 위의 섀도우 트랜잭션 아이디어를 구현하는 데 빠르게 통과했습니다. 코드는 여전히 조잡하고 내 테스트(아래)는 더 조잡하지만 이 접근 방식으로 약간의 성능 향상을 보고 있는 것 같습니다.

• 기준 테스트 오버헤드

# time for i in {0..20000}; do /bin/true; done
real    0m10.479s
user    0m7.641s
sys     0m3.924s

• 현재 마스터 브랜치

# time for i in {0..20000}; do ./42-sim-adv_chains > /dev/null; done

real    0m16.303s
user    0m12.584s
sys     0m4.501s

• 패치됨

time for i in {0..20000}; do ./42-sim-adv_chains > /dev/null; done

real    0m15.021s
user    0m11.540s
sys     0m4.387s

테스트 오버헤드를 빼면 이 "테스트"에서 약 20%의 성능 향상을 볼 수 있지만 복잡한 필터 세트의 이점이 이보다 더 나을 것으로 예상합니다(훨씬 더 나은가요?).

@varqox 및/또는 @crosbymichael 일단 패치를 약간 정리하고 PR을 작성하면 귀하의 환경에서 이것을 테스트할 수 있습니까?

내 예제 테스트 케이스는 이미 여기에 있습니다.

안녕하세요,
이 문제는 v2.3.3과 v2.4.0 사이의 커밋 ce3dda9 에 의해 발생했습니다. 다음 예를 고려하십시오. foo.c.zip .
그것은 매우 많은 수의 규칙을 추가합니다. 그리고 위에서 언급한 커밋 후 약 100배 느리게 작동합니다.

foo.c v2.4.1을 사용한 실행 시간: 0.448
foo.c v2.3.3을 사용한 실행 시간: 0.077

하지만 PR이 준비되는 대로 내 환경에서 테스트할 수 있습니다.

@varqox 안녕하세요. 예, 원래 보고서에 테스트 사례를 포함하는 것을 보았지만 실제 사용에서 테스트 사례가 어떻게 수행되는지 듣고 싶습니다. PR #180을 사용해 보고 다시 보고해 주시면 정말 감사하겠습니다. 감사합니다!

안녕하세요 @pcmoore ,

이 PR을 만들어 주셔서 감사합니다.
나는 당신의 PR #180을 만들고 테스트했고 결과는 내 테스트 케이스에 대해 유망합니다. 고객이 docker 상태 확인을 사용하고 libseccomp 2.4.x 의 성능 문제를 겪었기 때문에 이 문제를 봅니다.
내 테스트 사례에서 이 PR의 성능은 libseccomp 2.3.3 와 비슷합니다. 세부 사항은 다음과 같습니다.

환경

MacBook Pro(15인치, 2015년 중반)의 Ubuntu 19.04 VM(2 CPU, 2G 메모리)
커널 5.0.0-32-일반
도커 CE 19.03.2

테스트 케이스:

20개의 용기 준비:

for i in $(seq 1 20)
do
  docker run -d --name bb$i busybox sleep 3d
done

모든 컨테이너에서 동시에 docker exec 를 실행하여 테스트 실행

for i in $(seq 1 20)
do 
  /usr/bin/time -f "%E real" docker exec bb$i true & 
done

결과

libseccomp 2.3.3

0:01.05 real
0:01.12 real
0:01.16 real
0:01.20 real
0:01.23 real
0:01.27 real
0:01.31 real
0:01.35 real
0:01.37 real
0:01.38 real
0:01.40 real
0:01.41 real
0:01.40 real
0:01.40 real
0:01.45 real
0:01.46 real
0:01.47 real
0:01.48 real
0:01.48 real
0:01.49 real

libseccomp 2.4.1

0:00.98 real
0:01.63 real
0:01.67 real
0:01.95 real
0:02.55 real
0:02.70 real
0:02.70 real
0:02.96 real
0:03.04 real
0:03.16 real
0:03.17 real
0:03.21 real
0:03.23 real
0:03.27 real
0:03.24 real
0:03.29 real
0:03.27 real
0:03.29 real
0:03.28 real
0:03.27 real

당신의 PR 빌드

0:00.95 real
0:01.12 real
0:01.20 real
0:01.23 real
0:01.28 real
0:01.29 real
0:01.31 real
0:01.37 real
0:01.38 real
0:01.40 real
0:01.43 real
0:01.43 real
0:01.44 real
0:01.45 real
0:01.42 real
0:01.47 real
0:01.48 real
0:01.48 real
0:01.48 real
0:01.50 real

기타 메모

• 이 PR을 작성하기 전에 AC_INIT in configure.ac 에 $ 2.4.1 를 설정했습니다.
• 이 사용자 정의 빌드는 /usr/local/lib 에 설치되어 있습니다. 테스트 중에 사용자 정의 빌드가 사용 중인지 확인하기 위해 ldd /usr/bin/runc 를 실행하여 확인했습니다.
• 테스트를 몇 번 실행했는데 결과에 아주 작은 편차가 있습니다. 그래서 나는 그것들이 우연한 결과가 아니라고 확신합니다.

훌륭합니다. @xinfengliu의 도움에 감사드립니다!

안녕하세요 @pcmoore ,
이 PR에 감사드립니다.
제 경우에는 libseccomp 성능을 v2.3.3에 필적하는 수준으로 복원합니다.

결과

foo.c

g++ foo.c -lseccomp -o foo -O3
for ((i=0; i<10; ++i)); do time ./foo; done 

libseccomp 2.3.3

./foo  0.01s user 0.00s system 98% cpu 0.018 total
./foo  0.02s user 0.00s system 98% cpu 0.020 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total
./foo  0.02s user 0.00s system 98% cpu 0.018 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total
./foo  0.02s user 0.00s system 98% cpu 0.018 total
./foo  0.02s user 0.00s system 98% cpu 0.019 total

평균: 0.0188 s

libseccomp 2.4.2

./foo  0.19s user 0.00s system 99% cpu 0.195 total
./foo  0.19s user 0.00s system 99% cpu 0.194 total
./foo  0.19s user 0.00s system 99% cpu 0.193 total
./foo  0.19s user 0.00s system 99% cpu 0.196 total
./foo  0.19s user 0.00s system 99% cpu 0.195 total
./foo  0.20s user 0.00s system 99% cpu 0.196 total
./foo  0.19s user 0.00s system 99% cpu 0.194 total
./foo  0.20s user 0.00s system 99% cpu 0.197 total
./foo  0.19s user 0.00s system 99% cpu 0.195 total
./foo  0.19s user 0.00s system 99% cpu 0.194 total

평균: 0.1949 s

홍보 #180

./foo  0.01s user 0.01s system 98% cpu 0.012 total
./foo  0.01s user 0.00s system 97% cpu 0.013 total
./foo  0.01s user 0.00s system 96% cpu 0.013 total
./foo  0.01s user 0.01s system 97% cpu 0.014 total
./foo  0.01s user 0.00s system 97% cpu 0.012 total
./foo  0.01s user 0.00s system 98% cpu 0.013 total
./foo  0.01s user 0.00s system 98% cpu 0.012 total
./foo  0.01s user 0.00s system 98% cpu 0.013 total
./foo  0.01s user 0.00s system 97% cpu 0.013 total
./foo  0.01s user 0.00s system 97% cpu 0.011 total

평균: 0.0126 s

이 PR은 이 합성 테스트에서 v2.3.3보다 약간의 속도 향상을 제공하는 것 같습니다.

내 샌드박스에서 필터 빌드 및 로드(seccomp_init()에서 seccomp_load()로) 및 일부 샌드박스 초기화 오버헤드

libseccomp 2.3.3

Measured: 0.0052 s
Measured: 0.0040 s
Measured: 0.0046 s
Measured: 0.0042 s
Measured: 0.0038 s
Measured: 0.0038 s
Measured: 0.0039 s
Measured: 0.0036 s
Measured: 0.0042 s
Measured: 0.0044 s
Measured: 0.0036 s
Measured: 0.0037 s
Measured: 0.0044 s
Measured: 0.0035 s
Measured: 0.0035 s
Measured: 0.0035 s
Measured: 0.0040 s
Measured: 0.0037 s
Measured: 0.0043 s
Measured: 0.0042 s
Measured: 0.0035 s
Measured: 0.0034 s
Measured: 0.0038 s
Measured: 0.0035 s
Measured: 0.0035 s
Measured: 0.0037 s
Measured: 0.0038 s

평균: 0.0039 s

libseccomp 2.4.2

Measured: 0.0496 s
Measured: 0.0480 s
Measured: 0.0474 s
Measured: 0.0475 s
Measured: 0.0479 s
Measured: 0.0479 s
Measured: 0.0492 s
Measured: 0.0485 s
Measured: 0.0491 s
Measured: 0.0490 s
Measured: 0.0484 s
Measured: 0.0483 s
Measured: 0.0480 s
Measured: 0.0482 s
Measured: 0.0474 s
Measured: 0.0483 s
Measured: 0.0507 s
Measured: 0.0472 s
Measured: 0.0482 s
Measured: 0.0471 s
Measured: 0.0498 s
Measured: 0.0489 s
Measured: 0.0474 s
Measured: 0.0494 s
Measured: 0.0483 s
Measured: 0.0498 s
Measured: 0.0492 s

평균: 0.0466 s

홍보 #180

Measured: 0.0058 s
Measured: 0.0059 s
Measured: 0.0054 s
Measured: 0.0046 s
Measured: 0.0059 s
Measured: 0.0048 s
Measured: 0.0045 s
Measured: 0.0051 s
Measured: 0.0052 s
Measured: 0.0053 s
Measured: 0.0048 s
Measured: 0.0048 s
Measured: 0.0045 s
Measured: 0.0044 s
Measured: 0.0044 s
Measured: 0.0059 s
Measured: 0.0044 s
Measured: 0.0046 s
Measured: 0.0046 s
Measured: 0.0044 s
Measured: 0.0044 s
Measured: 0.0062 s
Measured: 0.0047 s
Measured: 0.0044 s
Measured: 0.0044 s
Measured: 0.0044 s
Measured: 0.0044 s

평균: 0.0049 s

합성 테스트에서 PR은 v2.3.3보다 더 나은 시간을 제공하지만 실제 세계에서는 약간 느립니다(더 복잡한 규칙과 두 개의 큰 필터를 병합하기 위해 seccomp_merge()를 실행하기 때문일 수 있음). 그러나 여전히 v2.4.2에 비해 대략 10배의 속도 향상을 제공합니다.

@varqox 성능을 확인해 주셔서 감사합니다! @drakenclimber 가 마지막 댓글에 응답하는 즉시(그리고 그가 제기할 수 있는 나머지 문제를 수정함) 이를 병합할 것입니다.

아, 신경 쓰지 마세요. @drakenclimber 가 PR을 승인된 것으로 표시한 것을 방금 알아차렸습니다. 이제 병합하여 진행하겠습니다.

방금 PR #180을 병합하여 이 작업을 종료로 표시할 수 있다고 생각합니다. 남은 성능 문제를 발견한 사람이 있으면 언제든지 댓글을 달거나 다시 여십시오. 인내심과 도움을 주신 모든 분들께 감사드립니다!

@pcmoore 이러한 변경 사항과 함께 곧 출시할 계획입니까?

이것은 현재 libseccomp v2.5 릴리스 이정표의 일부이며 아래 링크를 사용하여 v2.5 릴리스에 대한 진행 상황을 추적할 수 있습니다.

• https://github.com/seccomp/libseccomp/milestone/4