Chatbot’lar, NVIDIA GPU tabanlı bulut sunucuları tarafından desteklenen, her gün dünya çapında milyonlarca insan tarafından kullanılıyor. Artık bu çığır açan araçlar, lokal, süratli, özel üretken yapay zeka için NVIDIA RTX dayanaklı Windows PC’lere geliyor.
İndirmesi artık fiyatsız olan Chat with RTX, kullanıcıların bir chatbot’u kendi içerikleriyle kişiselleştirmelerine imkan tanıyan, en az 8 GB VRAM’e sahip yerleşik bir NVIDIA GeForce RTX 30 Serisi GPU ve üzeri ile kullanılabilen bir teknoloji demosu.
Chat With RTX’e İstediğinizi Sorun
Chat with RTX, üretken yapay zeka yeteneklerini GeForce takviyeli Windows bilgisayarlara getirmek için retrieval-augmented generation (RAG), NVIDIA TensorRT-LLM yazılımı ve NVIDIA RTX hızlandırmayı kullanıyor. Kullanıcılar PC’deki mahallî belgeleri bir bilgi kümesi olarak Mistral yahut Llama 2 üzere açık kaynaklı büyük bir lisan modeline süratli ve kolay bir biçimde bağlayarak sorguların süratli, bağlamsal olarak alakalı karşılıklar almasını sağlayabiliyor ve notlarda yahut kayıtlı içerikte arama yapmak yerine sorgu yazabiliyor. Örneğin şu soru sorulabilir: “Partnerimin Las Vegas’ta önerdiği restoran hangisiydi?” Chat with RTX, kullanıcının işaret ettiği lokal belgeleri tarıyor ve karşılığı bağlamla birlikte sunuyor.
Araç, .txt, .pdf, .doc/.docx ve .xml dahil olmak üzere çeşitli belge formatlarını destekliyor. Uygulamayı bu belgeleri içeren klasöre yönlendirdiğinizde araç bunları birkaç saniye içinde kitaplığına yükleyecektir.
Kullanıcılar ayrıyeten YouTube görüntülerinden ve oynatma listelerinden de bilgi ekleyebilir. Chat with RTX‘e bir görüntü URL’si eklemek, kullanıcıların bu bilgiyi bağlamsal sorgular için sohbet robotlarına entegre etmelerine imkan tanıyor. Örneğin, en sevdiğiniz etkileyici görüntülerin içeriğine dayalı seyahat teklifleri isteyip en düzgün eğitim kaynaklarına dayalı süratli eğitimler alabilirsiniz.
Chat with RTX, Windows RTX bilgisayarlarda ve iş istasyonlarında mahallî olarak çalıştığından, sağlanan sonuçlar süratli ve kullanıcının dataları aygıtta kalıyor. Chat with RTX, bulut tabanlı LLM hizmetlerine güvenmek yerine, kullanıcıların hassas dataları üçüncü bir tarafla paylaşmaya yahut internet temasına gerek duymadan lokal bir bilgisayarda işlemesine imkan tanıyor.
Minimum 8 GB VRAM’e sahip GeForce RTX 30 Serisi GPU yahut üzerinin yanı sıra Chat with RTX için Windows 10 yahut 11 ve en yeni NVIDIA GPU şoförleri gerekiyor.
RTX ile LLM Tabanlı Uygulamalar Geliştirin
RTX ile sohbet, LLM’leri RTX GPU’larla hızlandırmanın potansiyelini gösteriyor. Uygulama, GitHub’da bulunan TensorRT-LLM RAG geliştirici referans projesinden oluşturulmuş. Geliştiriciler, RTX için TensorRT-LLM tarafından hızlandırılan kendi RAG tabanlı uygulamalarını geliştirmek ve dağıtmak için referans projeyi kullanabilirler.