Prywatna AI na własnym sprzęcie: co uruchomi jedna karta graficzna
Co tu znaczy „prywatna”
Prywatna AI w tym tekście oznacza asystenta działającego na sprzęcie kontrolowanym przez Twoją firmę, odpowiadającego na podstawie wskazanych dokumentów i niewysyłającego pytań, plików ani wektorów do cudzej usługi. Nie zastąpi każdego modelu z chmury.
Jeśli model działa przez lokalny serwer wnioskowania, pytanie i znalezione fragmenty dokumentów są żądaniami HTTP do Twojej maszyny, a nie do OpenAI, Google, Anthropic ani pośrednika SaaS. llama.cpp opisuje dokładnie taki wzorzec: używasz lokalnego pliku modelu, uruchamiasz llama-server i wystawiasz punkt HTTP zgodny z API OpenAI na własnym hoście. Główny opis projektu wymienia też obsługę CUDA oraz pracę mieszaną CPU+GPU, dlatego odpowiedź nie brzmi już: „potrzebujesz centrum danych”. Kompromisem jest szybkość: dostajesz prywatność i przewidywalny koszt, a oddajesz przepustowość.
Co uruchomi jedna karta 16 GB
Realistyczny firmowy serwer to dziś stacja robocza z konsumencką kartą NVIDIA: 16 GB pamięci karty, odpowiednia ilość pamięci operacyjnej, szybki dysk NVMe i usługa dostępna tylko dla zespołu.
Na takiej maszynie praktycznym wyborem jest model typu mieszanka ekspertów z małą ścieżką aktywną, a nie duży model gęsty. Karta modelu Qwen3-30B-A3B podaje najważniejsze liczby wprost: 30,5 miliarda parametrów łącznie, 3,3 miliarda aktywnych przy każdym tokenie, natywne okno 32 768 tokenów i sprawdzone długie okno do 131 072 tokenów z YaRN. To model klasy 30B z otwartymi wagami, ale ze znacznie mniejszą ścieżką aktywną.
Rozmiar pliku też jest konkretny. Wersja GGUF od Unsloth zawiera skwantyzowany plik Q3_K_M o rozmiarze około 14,7 GB (13,70 GiB — w tej jednostce narzędzia do karty graficznej pokazują pamięć) oraz plik UD-IQ3_XXS o rozmiarze około 12,9 GB (12,00 GiB). Te dwie liczby decydują, co zmieści się na karcie 16 GiB, ale same wagi modelu to nie wszystko, co musi się zmieścić: llama.cpp trzyma w pamięci karty również pamięć podręczną klucz-wartość (KV), po jednym wpisie na token kontekstu, i ta pamięć rośnie wraz z długością kontekstu.
Plik config.json modelu podaje liczby potrzebne do policzenia tego: 48 warstw, 4 głowice KV, wymiar głowicy 128. Przy domyślnym typie pamięci KV w llama.cpp (f16, opisanym we flagach serwera) daje to 48 × 4 × 128 × 2 (klucz i wartość) × 2 bajty = 96 KiB na token — około 3,00 GiB przy natywnym kontekście 32 768 tokenów albo 12,0 GiB przy sprawdzonym długim kontekście 131 072 tokenów.
| Kwantyzacja | Rozmiar pliku | + pamięć KV przy 32K kontekstu | Razem | Mieści się w 16 GiB? |
|---|---|---|---|---|
| Q3_K_M | 13,70 GiB | 3,00 GiB | 16,70 GiB | Nie — 16,70 GiB > 16 GiB. Zapas ponad plik to 2,30 GiB, a sama pamięć KV wyczerpuje go przy około 25K tokenów (2,30 GiB ÷ 96 KiB/token), zanim doliczy się kontekst CUDA czy bufory obliczeniowe |
| UD-IQ3_XXS | 12,00 GiB | 3,00 GiB | 15,00 GiB | Arytmetycznie tak, z około 1 GiB zapasu na kontekst CUDA i bufory obliczeniowe — ciasno, nie wygodnie |
Praktyczny wniosek: na karcie 16 GB to UD-IQ3_XXS zostawia miejsce na pełny, deklarowany kontekst 32K; Q3_K_M już nie — jego pamięć KV wyczerpuje zapas na długo przed 32K. Dzięki llama.cpp można też zostawić najgorętszą część pracy na karcie, a gdy żaden wariant się nie mieści, przenieść część obciążenia do pamięci operacyjnej w trybie mieszanym — to działa, ale kosztem szybkości, i to nie to samo, co cały model wraz z kontekstem w pamięci karty.
W praktyce wystarcza to do prywatnej rozmowy z firmowymi dokumentami, szkiców, streszczeń, tłumaczeń, wyjaśniania logów, pytań o procedury i pomocy przy przeglądzie kodu. Nie wystarcza dla setek użytkowników naraz, wielkich zadań wsadowych ani w roli czołowego modelu z chmury.
Co znaczy „dane nie wychodzą”
Serwer nadal jest podłączony do internetu. Aktualizacje i pobieranie pakietów potrzebują ruchu wychodzącego; monitoring, jeśli zapewnia go dana integracja, również.
U Ciebie zostaje wrażliwa ścieżka:
- dokumenty są indeksowane na Twoim serwerze;
- wektory są przechowywane na Twoim serwerze;
- pytania trafiają do lokalnego punktu modelu;
- odpowiedzi powstają na Twoim sprzęcie;
- logi i kopie zapasowe zostają na przestrzeni, którą kontrolujesz.
To różnica między „mamy politykę prywatności” a „w ścieżce zapytania nie ma zewnętrznego dostawcy AI”. Jeśli prosisz asystenta o streszczenie umowy, umowa nie musi najpierw trafić do modelu w chmurze. Jeśli ktoś pyta o katalog klienta, znalezione fragmenty pochodzą z Twojego własnego zbioru dokumentów.
Nadal potrzebna jest zwykła praca nad bezpieczeństwem: kontrola dostępu, TLS, dzienniki audytu, aktualizacje, kopie zapasowe i testy odtworzenia. Na zaniedbanym serwerze prywatność długo nie potrwa. Zależy to też od tego, który model faktycznie odpowiada: jeśli serwer wnioskowania jest skonfigurowany tak, by korzystać z zewnętrznego dostawcy modelu zamiast lokalnego pliku, te żądania opuszczają serwer i podlegają warunkom oraz zasadom przetwarzania danych tego dostawcy — gwarancja „tylko lokalnie” obowiązuje wyłącznie przy lokalnym wnioskowaniu.
Podstawy licencji
Licencja otwartych wag też ma warunki. Przed użyciem modelu w firmie trzeba ją sprawdzić.
W tym przykładzie karta Qwen3-30B-A3B wskazuje licencję Apache-2.0, a powiązany tekst licencji przyznaje prawa do używania, powielania i dystrybucji. Po ludzku: użycie komercyjne jest dozwolone, ale trzeba zachować informacje licencyjne i przestrzegać warunków. (To streszczenie licencji, nie porada prawna.) Inne modele mogą mieć ograniczenia dotyczące sposobu użycia, obowiązki atrybucji albo osobne zasady dopuszczalnego wykorzystania. Sprawdź to przed wdrożeniem.
Kiedy to ma sens
Prywatny asystent na jednej karcie graficznej ma sens wtedy, gdy wartość jest w Twoich danych wewnętrznych: procedurach, ofertach, umowach, historii obsługi, notatkach projektowych, podsumowaniach spotkań i repozytoriach kodu. Najlepiej działa, gdy odpowiedzi mogą wskazywać własne pliki, a prawdziwą przeszkodą jest ryzyko wysyłania tych plików do kogoś trzeciego.
To złe narzędzie, jeśli potrzebujesz ogromnej przepustowości, generowania obrazów lub wideo na dużą skalę albo absolutnie najlepszego wyniku rozumowania w publicznych testach. Wtedy chmura może nadal wygrać.
Dla większości małych firm rozsądny środek wygląda tak: jeden serwer, ostrożnie dobrany model i lokalne wyszukiwanie we własnych dokumentach, na Twoim sprzęcie i na Twoich zasadach.
principale.dev instaluje asystentów AI open source, np. OpenClaw, na serwerze, który należy do Ciebie. Każda instalacja jest darmowa. Zobacz, jak to działa.