Pyradiomics: Профилирование PyRadiomics для очень больших сегментов

@blezek Я упомянул @ Radiomics / разработчикам, что вы столкнетесь с проблемами производительности, пытаясь запустить радиомику для всего мозга, поэтому @JoostJM провел некоторое профилирование.

При беглом взгляде на код

В коде c? У вас есть общее представление о том, как с этим бороться?

В коде c? У вас есть общее представление о том, как с этим бороться?

Может быть, вы могли бы изучить использование потоков

Тем не менее, использование потоковых библиотек с ванильным c-кодом может быть сложной задачей .

Я думаю, что реализация фильтров ITK может быть полезной (например, в качестве удаленного модуля ITK), тогда вы сможете использовать связанный межплатформенный API обработки изображений и потоковой передачи. Эти фильтры затем могут быть выставлены через SimpleITK.

@thewtex @jbvimort Интересно, есть ли у вас какие-нибудь идеи ...

Лучше всего было бы профилировать построчно, но я предполагаю, что этот набор вложенных циклов работает довольно медленно. Использование numpy.where может быть медленным и вернет длинные списки координат.

Я согласен с Jc, что эта операция может быть многопоточна, поскольку каждый пиксель должен быть независимым. Кроме того, реализация той же операции в SimpleITK может быть намного быстрее. Но я бы начал с профилирования и посмотрел, есть ли способы просто оптимизировать существующий код Python.

@pieper из профилирования видно, что Joost уже сделал, что _calculateCMatrix составляет 77% времени (если я правильно интерпретирую сводку профилирования):

Я вижу, вы говорите, что, вероятно, это вызов этого кода . Да, это выглядит довольно ресурсоемким.

Если эта функция действительно информативна, а маски больших изображений являются важным вариантом использования, то может оказаться, что подхода «простой библиотеки C» недостаточно, по крайней мере, в том виде, в котором он написан в настоящее время. Возможно, код C можно было бы сделать более эффективным, или мы могли бы изучить другие варианты, такие как многопоточность или реализация SimpleITK.

@pieper @fedorov , это действительно звонок . Я посмотрю, можно ли сделать его более эффективным.

Если можно, я бы не хотел реализовывать здесь многопоточность по двум причинам.

1. Это сделает код C намного более сложным
2. Когда я извлекаю функции для нескольких пациентов, я увеличиваю производительность за счет многопоточности на уровне пациента (каждый пациент - 1 поток). В этом случае я также установил SimpleITK на однопоточный, чтобы сохранить однопоточность при удалении пациента.

Кстати, основная причина, по которой c GLSZM занимает так много времени, заключается в том, что он требует больших вычислительных ресурсов и вызывается 12 раз (из-за различных производных изображений). Вызов фильтра изображения labelhapestatistics SimpleITK - это вызов, который занимает больше всего времени для одного вызова, но вызывается только один раз за извлечение (поскольку он является частью формы и, следовательно, рассчитывается только для исходного типа изображения).

Что касается звонка SimpleITK, который занимает очень много времени. Это связано с расчетным диаметром Ферета (максимальный диаметр в 3D).
Если вы запустите фильтр изображений labelhapestatistics с этим диаметром и без него, разница во времени составит 271053 мс против 21 мс для полной маски brain1.

Теперь доступен itk-texturefeatures , который может быть здесь полезен.

@JoostJM вы смотрели особенности itk-texture? Было бы интересно узнать, как сравнивается скорость и сопоставимы ли наборы функций с тем, что у нас есть сейчас в коде pyradiomics c.

https://github.com/InsightSoftwareConsortium/ITKTextureFeatures/tree/2b4544fe39e0ece9007a0d87c396c8586c6f4df5/example

@pieper , только что вернулся из отпуска, но это конечно интересно.
Я провел некоторое профилирование с использованием PyRadiomics и аналогичных масок, которые использовались функциями текстур ITK (реализация воксельных вычислений). Показатели пирадиомики были аналогичны показателям ИТК.
Обратной стороной PyRadiomics является то, что он принимает только трехмерный ввод, тогда как ITK является N-мерным. С другой стороны, PyRadiomics достигает этой производительности в однопоточном режиме и вычисляет больше функций в GLCM.

Что касается набора функций, насколько я вижу, определения формул схожи, причем PyRadiomics имеет больше функций как в GLCM, так и в GLRLM. Функции текстуры ITK имеют только одну функцию (в GLCM), которой нет в PyRadiomics, но это аналогичная реализация PyRadiomics correlation , которая присутствует в ITK как Haralick's correlation . При этом я все же считаю, что будут некоторые различия из-за того, что ITK использовал фиксированное количество ячеек, в отличие от фиксированной ширины ячеек в PyRadiomics.

Спасибо за проверку @JoostJM - похоже, мы должны решить, хотим ли мы сохранить независимую реализацию в PyRadiomics или работать вместе с сообществом ITK над улучшением функций itk-texture. Моя непосильная реакция - по возможности предпочитать усилия сообщества в надежде, что сопровождение кода будет более эффективным.