Компания NVIDIA опубликовала TensorRT-LLM, которая позволит пользователям видеокарт серии RTX получить значительный прирост производительности при работе с генеративными нейросетями вроде Stable Diffusion. Замеры этого прироста, разумеется, проводились на RTX 4090.
Для примера нам рассказали о том, что Stable Diffusion на упомянутой видеокарте через WebUI от Automatic 1111 на основе PyTorc xFormers генерировала 27 изображений в минуту, а с TensorRT это значение возрастает до 52 изображений. Таким образом видеокарта RTX 4090 должна предоставить до 7 раз больше производительности при работе с Stable Diffusion в сравнении с 72-ядерным Apple M2 Ultra.
WebUI с TensorRT все желающие пользователи видеокарт NVIDIA RTX могут скачать прямо сейчас с Github.
Источник: goha.ru
