Gunicorn: Увеличение памяти после длительного обслуживания

Созданный на 10 окт. 2018 · 3Комментарии · Источник: benoitc/gunicorn

ПРИВЕТ :
Я использую flask + gunicorn для создания службы api. Поскольку я хочу разделить большой объем данных между рабочими процессорами, я инициализирую данные в gunicorn.conf и использую "gunicorn -c gunicorn.conf" для завершения. Любые данные в gunicorn.conf будут обрабатываться только один раз, поэтому каждый рабочий процессор использует общие большие данные. Только большие данные в моей программе готовы, без записи. Но когда я запускаю свою службу и работаю надолго, иногда память внезапно увеличивается на 1 Гб, я предполагаю, что может быть какая-то операция записи в Gunicorn, вызывающая механизм копирования при записи в системе. И как мне разделить большие данные между рабочими процессорами? Меня до сих пор смущает эта проблема, жду вашего ответа !!! Спасибо!

Источник

haolujun

Самый полезный комментарий

Это связано с # 1640.

Единственный другой способ справиться с этим - это сделать что-то, что избегает управления памятью Python. Возможно, модуль mmap может помочь.

tilgovi 10 окт. 2018

👍3

Все 3 Комментарий

Это связано с # 1640.

tilgovi 10 окт. 2018

👍3

Спасибо!!! Это очень полезно!

haolujun 11 окт. 2018

ПРИВЕТ:
Используя предоставленную вами информацию, я обновляю свой Python с 2.7 до 3.7 и использую gc.freeze (), чтобы избежать сбора некоторых объектов сборщиком мусора. На этот раз не похоже, что «объем памяти увеличился на 1 Гбайт внезапно», но это вызвало медленный рост памяти, когда объем памяти каждого подпроцессора увеличился на 500 МБ +, а затем остановился. Я думаю, что gc.freeze () работает и создает другой вид памяти. Я надеюсь, что проделанная мною работа будет полезна другим людям. Спасибо!

haolujun 12 окт. 2018

👍2

Была ли эта страница полезной?

0 / 5 - 0 рейтинги