PDA

Просмотр полной версии : TensorRT-LLM для Windows и видеокарт RTX – ускорение и оптимизация генеративного ИИ



strangesergey
18.10.2023, 19:27
https://www.hardwareluxx.de/images/cdn02/uploads/2023/Oct/clean_shader_7y/bildschirmfoto_2023-10-17_um_13.37.31_100px.pngНаряду с поддержкой RTX Video Super Resolution на видеокартах серии GeForce RTX 20, NVIDIA представила программную библиотеку TensorRT-LLM для Windows. TensorRT-LLM – это библиотека с открытым исходным кодом, специально адаптированная для больших языковых моделей (Large Language Models), которая уже была представлена для ускорителей ЦОД и доступна в режиме Early Access. TensorRT-LLM еще раз показывает, что дальнейшее развитие и оптимизация программного обеспечения могут...

... читать далее (https://www.hardwareluxx.ru/index.php/news/allgemein/technology/54837-tensorrt-llm-dlya-windows-i-videokart-rtx-uskorenie-i-optimizatsiya-generativnogo-ii.html)