<p>Реализация numpy.vectorize по сути является циклом for?</p>

Да. В контексте интерпретируемых языков программирования числовых массивов, таких как Python (с numpy) и MATLAB ™, мы часто используем «векторизацию» для обозначения замены явных циклов в интерпретируемом языке программирования функцией (или оператором), которая заботится обо всех внутренняя логика цикла. В numpy ufunc s реализуют эту логику. Это не связано с использованием «векторизации» для обозначения использования инструкций ЦП SIMD, которые вычисляют по нескольким входам одновременно, за исключением того, что они оба используют аналогичную метафору: они похожи на свои «скалярные» аналоги, но выполняют вычисления по нескольким входным значениям с помощью одного вызова.

С numpy.vectorize() обычно не так много выигрыша в скорости по сравнению с явным циклом Python for . Суть этого в том, чтобы превратить функцию Python в ufunc , которая реализует всю семантику широковещательной передачи и, таким образом, имеет дело с любым размером входных данных. Функция Python, которая «векторизуется», по-прежнему занимает большую часть времени, а также преобразование необработанного значения каждого элемента в объект Python для передачи функции. Вы не ожидаете, что np.vectorize(lambda x, y: x + y) будет таким же быстрым, как ufunc np.add , который является C как в цикле, так и в содержимом цикла.

Спасибо за подробное объяснение. Но для ясности позвольте мне привести пример.

import pandas as pd
import numpy as np
df = pd.DataFrame({'a': range(100000), 'b': range(1, 1000001)})
# method1
df.loc[:, 'c'] = df.apply(lambda x: x['a'] + x['b'], axis=1)
# method2 
df.loc[:, 'c'] = np.vectorize(lambda x, y: x + y)(df['a'], df['b'])
# method3
df.loc[:, 'c'] = np.add(df['a'], df['b'])

так что с вашим объяснением, я думаю

метод | петля в C | содержание цикла в C | использовать SIMD
- | - | - | -
1 | × | × | ×
2 | √ | × | ×
3 | √ | √ | √

Правильно?

np.add быстрее, чем np.vectorize(lambda x, y: x + y) потому что он позволяет избежать преобразования двойников C в объекты Python и накладных расходов на вызов функций Python. Возможно, он также использует инструкции SIMD, в зависимости от того , есть ли у

np.add быстрее, чем np.vectorize(lambda x, y: x + y) потому что он позволяет избежать преобразования двойников C в объекты Python и накладных расходов на вызов функций Python. Возможно, он _также_ использует инструкции SIMD, в зависимости от того , есть ли у

Я понял. Благодарю.

Вы можете использовать numba vectorize для создания ufunc, которые работают параллельно без накладных расходов Python:

https://numba.pydata.org/numba-doc/latest/user/vectorize.html