RTX üçün TensorRT ilə sürət artımı!

Microsoft Build 2025 tədbirində NVIDIA, xüsusilə Windows 11 əməliyyat sistemi üçün optimallaşdırılmış yeni bir süni intellekt kitabxanası olan RTX üçün TensorRT-ni təqdim etdi. Bu yeni sistem, NVIDIA RTX qrafik kartlarında işləyən yerli süni intellekt tətbiqlərində yüksək performans təmin etmək üçün hazırlanıb.

Əvvəllər yalnız məlumat mərkəzləri texnologiyalarında istifadə olunan NVIDIA TensorRT sisteminin masaüstü versiyası olan RTX üçün TensorRT, Windows əsaslı kompüterlərdə 50%-dən çox performans artımı təmin edir. Yeni süni intellekt kitabxanası, FLUX-1.dev kimi yeni nəsil generativ süni intellekt modellərini istifadəçi səviyyəli GPU-larda işlətmək üçün xüsusi olaraq hazırlanıb. Həmçinin, FP4 və FP8 kimi aşağı dəqiqlikli rəqəm formatlarını dəstəkləyir ki, bu da yaddaşdan daha səmərəli istifadəni və daha yüksək məhsuldarlığı təmin edir.

RTX üçün TensorRT-nin diqqət çəkən xüsusiyyətlərindən biri də, inference mühərrikinin əvvəlcədən kompilyasiya edilməsinə ehtiyac olmamasıdır. Model işə salındıqda, kompilyasiya bir neçə saniyə ərzində GPU-da aparıla və modelə xas mühərriklər yaradıla bilər. Bu, əlavə optimallaşdırmalarla birlikdə, performansda əlavə 20% artım təmin edir. Üstəlik, sistemin ölçüsü cəmi 200 MB-dır və Windows ML vasitəsilə avtomatik olaraq arxa planda yüklənə bilər.

NVIDIA RTX 5090-da aparılan testlərdə, RTX üçün TensorRT-nin DirectML ilə müqayisədə əhəmiyyətli sürət artımı təmin etdiyi müşahidə edilib. Bu yeni texnologiya barədə fikirlərinizi bizimlə bölüşə bilərsiniz.