TensorRT-LLM для Windows и видеокарт RTX – ускорение и оптимизация генеративного ИИ

Наряду с поддержкой RTX Video Super Resolution на видеокартах серии GeForce RTX 20, NVIDIA представила программную библиотеку TensorRT-LLM для Windows. TensorRT-LLM – это библиотека с открытым исходным кодом, специально адаптированная для больших языковых моделей (Large Language Models), которая уже была представлена для ускорителей ЦОД и доступна в режиме Early Access. TensorRT-LLM еще раз показывает, что дальнейшее развитие и оптимизация программного обеспечения могут...

... читать далее