Jak działa moje laboratorium

Trzy warstwy jednego środowiska

Podzieliłem domową infrastrukturę według zadań. Router zapewnia łączność, NAS utrzymuje codzienne usługi, a komputer dostarcza moc dla AI. Ta strona również działa na NAS.

Sieć, zdalny dostęp i HTTPS

Po wykonaniu kopii i eksportów konfiguracji przeszedłem z RouterOS 6 na 7. Zaktualizowałem też firmware RouterBOARD, sprawdziłem łączność i DNS, a nieużywaną usługę PPTP zastąpiłem WireGuardem.

• WireGuard daje dostęp do prywatnych usług z telefonu. Wariant full tunnel kieruje przez dom również ruch internetowy telefonu.
• Osobne reguły input i forward obsługują zestawienie VPN, DNS, dostęp do LAN oraz wyjście do Internetu.
• MikroTik IP Cloud zapewnia DDNS. Strefa publicznego DNS jest w OVH, a rekordy pocztowe pozostają niezależne od hostingu WWW.
• Publiczny HTTP/HTTPS trafia przez NAT do Caddy na NAS. Caddy serwuje strony statyczne i przekazuje ruch do muzyki; czat i panele administracyjne pozostają prywatne.

Dla nazw używanych w domu uwzględniam split DNS i hairpin NAT. Rozwiązanie nazwy i odpowiedź na ping potwierdzają tylko część połączenia: port docelowy nadal musi obsługiwać właściwy HTTP lub TLS.

Usługi na NAS

Dane usług przechowuję w trwałych katalogach, niezależnych od życia kontenera. Compose definiuje polityki restartu i limity zasobów. Na tym NAS limit CPU spowodował błąd zgodności CFS, dlatego pozostawiłem ograniczenia RAM bez tej kwoty CPU.

Monitoring dostarcza danych do diagnozy, ale nie jest certyfikowanym pomiarem operatora. Na przepustowość wpływają też ruch innych urządzeń, NAS i serwer testowy. Urządzenia usypiane wymagają monitorów dopasowanych do ich normalnego działania.

Docker i AI na PC

Główny czat działa na PC. Open WebUI łączy się z Ollamą przez host.docker.internal; Ollama działa w Windows i wykorzystuje GPU. Sieć Dockera łączy WebUI z wyszukiwaniem, modułem Google, SSH Operatorem i ComfyUI.

Skrypt logowania Windows uruchamia Docker Desktop, Ollamę i obserwator PC, czeka na gotowość Dockera i podnosi usługi Compose. Jest to start po zalogowaniu, a nie gwarantowane uruchomienie bez użytkownika po włączeniu zasilania. Start usług nie ładuje od razu dużego modelu do VRAM.

Co potrafi agent

Model wybiera funkcję i jej argumenty. Narzędzia w Pythonie wykonują żądanie, zwracają dane, a model opisuje wynik. W Open WebUI jawnie przypisuję narzędzia do modelu i włączam natywne wywoływanie funkcji.

Współdzielenie GPU

Komputer służy mi również do grania, więc trzymanie wszystkich modeli w VRAM nie ma sensu. Ollama ma ustawiony jeden załadowany model i pięć minut keep-alive. Przed generowaniem obrazu narzędzie żąda wyładowania modeli językowych. Zleca workflow do ComfyUI, a po zapisaniu wyniku żąda zwolnienia pamięci.

Question → Ollama → tool call
Image request → unload LLM → ComfyUI → save result → unload image model
Next question → load LLM again

To sekwencyjne zarządzanie zasobami, a nie gwarancja dostępności pełnych 16 GB. Windows, ekran i inne aplikacje GPU także zajmują pamięć. RAM komputera i RAM przydzielony WSL to osobne limity; cache plików może przyspieszać ponowne ładowanie, lecz nie gwarantuje stałej obecności modelu w RAM.

Prywatność i praktyczne granice

• Wnioskowanie modeli jest lokalne, ale wyszukiwanie i integracje Google komunikują się z usługami zewnętrznymi.
• Wybrane dane PC są tylko do odczytu. Szkice mają osobny katalog zapisu. Uprawnienia SSH są odrębne i mogą pozwalać na rzeczywiste zmiany konfiguracji.
• Sekrety znajdują się poza plikami strony publicznej. Certyfikaty i dane aplikacji wymagają własnej chronionej kopii.
• Strony i maile traktuję jako niezaufane dane wejściowe. Model nadal może źle zinterpretować treść, pominąć szczegóły lub odpowiedzieć błędnie.

Laboratorium jest rozwijanym projektem prywatnym. Głos, rodzinna baza dokumentów, automatyczne wybudzanie PC i szersze generowanie mediów są planami, a nie deklaracją ukończonych funkcji.