Генеративный ИИ открывает новые возможности для персональных компьютеров и рабочих станций. Однако из-за стремительного темпа развития в этой области разработчикам ПК нередко бывает трудно идти в ногу с последними тенденциями. Микросервисы NVIDIA NIM упрощают этот процесс, предоставляя предварительно настроенные, оптимизированные и легко загружаемые модели ИИ, которые подключаются через стандартные API. Они созданы для максимальной производительности на RTX AI-ПК и рабочих станциях, включая как популярные модели сообщества, так и собственные разработки NVIDIA.

Необходимое для этого мощное «железо» NVIDIA выпускает задолго до появления серии GeForce RTX 50 на архитектуре Blackwell. Технологии RTX уже давно используются для апскейлинга, генерации кадров, реконструкции лучей и множества других задач, демонстрируя, насколько широки возможности ускорения ИИ в творческих и профессиональных рабочих процессах.

На базе NIM-сервисов построены AI Blueprints — готовые эталонные схемы для сложных ИИ-процессов. Они помогают разработчикам объединять библиотеки, SDK и модели ИИ в единые приложения. Blueprints можно адаптировать, расширять и дорабатывать: менять поведение, использовать другие модели или внедрять новые функции.

NVIDIA NIM

Название NIM (NVIDIA Inferencing Microservices) говорит само за себя: это сервисы для работы с уже обученными ИИ-моделями. Такие модели заранее разработаны, обучены на данных и подготовлены к запуску в режиме инференса. Чтобы они работали, требуется:

• сама модель;
• способ взаимодействия с ней (например, текстовый ввод или интеграция в ПО);
• подходящая аппаратная платформа.

Важно понимать: обучение модели предъявляет к железу одни требования, а её инференс — совершенно другие.

NIM-сервисы NVIDIA предоставляют готовые, современные модели, оптимизированные под RTX. Это позволяет разработчикам легко добавлять продвинутые ИИ-функции в свои проекты.

Они охватывают широкий спектр сценариев — от языковых моделей до компьютерного зрения и генерации изображений. Всего NVIDIA предлагает около 250 моделей, среди которых:

• генерация кода;
• цифровые двойники;
• поиск новых лекарств;
• классификация изображений;
• генерация картинок и текстур;
• image-to-text;
• медицинская визуализация;
• распознавание объектов;
• OCR;
• RAG (retrieval augmented generation);
• оптимизация маршрутов;
• преобразование речи в анимацию;
• speech-to-text;
• синтетическая генерация данных;
• text-to-embedding;
• text-to-image;
• text-to-speech;
• моделирование погоды.

Для каждой задачи доступна как минимум одна модель, а чаще несколько — на разных наборах данных. Большинство рассчитаны на корпоративное применение, но есть и ряд Run-On-RTX NIMs, которые можно запускать прямо на видеокартах GeForce RTX.

NVIDIA AI-Blueprints

AI Blueprints — это готовые примеры, демонстрирующие, как выстраивать рабочий процесс на генеративном ИИ с помощью NIM-сервисов. Они упрощают разработку, архитектура приложений становится более понятной, внедрение ИИ в продукты ускоряется.

Таким образом, NIM обеспечивает быстрый доступ к самим моделям, а Blueprints — удобную основу для создания полноценных рабочих процессов.

Пример: FLUX.1

Один из ярких примеров применения Blueprint — 3D Guided Generative AI, который использует модель FLUX.1 в среде ComfyUI. Плагин доступен для Blender.

Blueprint позволяет управлять процессом генерации изображений через расположение объектов в Blender: меняя компоновку сцены, пользователь задаёт композицию итогового изображения. Можно быстро заменять ассеты в 3D-сцене, а перспектива финального кадра меняется простым изменением угла камеры.

Генерация основана на модели FLUX.1-dev от Black Forest Labs, а интерфейс ComfyUI обеспечивает гибкость и удобство работы. Модели оптимизированы под GPU NVIDIA, включая квантование FP4: это снижает нагрузку на видеопамять, ускоряет вывод результатов и раскрывает весь потенциал видеокарт серии RTX 50.

Поддерживаемое оборудование:

• NVIDIA GeForce RTX 5090
• NVIDIA GeForce RTX 5080
• NVIDIAGeForce RTX 4090 
• NVIDIAGeForce RTX 4080 
• NVIDIA GeForce RTX 5090 Laptop GPU
• NVIDIA GeForce RTX 4090 Laptop GPU
• NVIDIA RTX 6000 Lovelace Generation

Для примера мы использовали GeForce RTX 5090.

Подготовка и установка

Перед началом работы необходимо выполнить несколько шагов подготовки: установить Windows Subsystem for Linux (WSL 2) и загрузить установщик NIM. Подробное руководство от NVIDIA содержит все инструкции и необходимые ссылки.

Настройка включает:

• установку дополнительного ПО;
• получение API-токенов;
• принятие условий лицензии.

При первом запуске NIM Flux.1-dev нужно загрузить модели с портала NVIDIA NGC (Enterprise Services, Software & Tools) и развернуть контейнер FLUX-NIM. В зависимости от скорости интернета это может занять до 20 минут и более.

Пример использования FLUX.1

В демонстрационном рабочем процессе используется Viewport-сцена и следующий запрос для генерации изображения, которое соответствует как 3D-сцене, так и текстовому описанию:

«a stunning professional photo of a quaint village in the mountains in winter, a snow covered fountain is visible in the center of the town square (потрясающая профессиональная фотография живописной деревни в горах зимой, в центре площади виден заснеженный фонтан)».

Управление сценой:

• перемещение — мышь + клавиши WASD;
• изменение угла камеры — E и F;
• объекты можно перемещать, заменять или полностью убирать.

После изменений выполняется повторный рендеринг. Например, фонтан можно превратить в лодку, а улицы — в каналы.

С новым запросом можно радикально изменить сценарий, например:

• «a stunning profession photo of a modern luxury boat in the canals of Venice, classical buildings, at sunset (потрясающая профессиональная фотография роскошной яхты в каналах Венеции, классические здания, закат)»;
• «an abandoned boat sitting between rows of warehouses (заброшенная лодка среди рядов складов)».

Все это рендерится локально на RTX-GPU, без использования облака. Это снижает задержки и ускоряет генерацию: новое изображение готово за считанные секунды.

Пример использования Microsoft TRELLIS

На базе FLUX.1 NVIDIA предлагает и другой рабочий процесс — 3D Guided Generative AI с использованием Llama 3.1 8B и микросервиса Microsoft Trellis NIM.

Художники могут задать простую текстовую команду (например, «night market (ночной рынок)»), и система сгенерирует до 20 объектов.

• NVIDIA SANA создает высококачественные превью.
• Объекты можно перегенерировать, изменить или отклонить.
• Готовые модели экспортируются в Blender или другие 3D-приложения.

Для 3D-фрилансеров, создающих сотни ассетов для множества сцен, это значительно ускоряет рабочий процесс.

Microsoft TRELLIS NIM — новый микросервис, интегрирующий модель text-to-3D от Microsoft Research прямо в Blueprint. Это готовое решение, поддерживаемое на всех RTX 50/40 GPU с 16 ГБ памяти и выше — как на десктопах, так и на ноутбуках.

Благодаря оптимизациям PyTorch сервис работает на 20 % быстрее, сокращая время генерации на ~6 секунд на объект (на RTX 5090). Для тех, кто создает сотни объектов, это даёт заметный прирост продуктивности.

Подробные инструкции и файлы доступны на NVIDIA Build и GitHub.

Run-on-RTX Blueprints

Сегодня NVIDIA предлагает более десятка Blueprints, которые можно запускать локально на RTX-картах:

• text-to-image,
• локальный ассистент для программирования,
• распознавание изображений,
• преобразование речи в текст.

Если расширить поиск до серверного оборудования (H100/H200, B100/B200), число доступных решений становится ещё больше.

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).