Home AI: od rozmowy do działania w moim środowisku.

Asystent, który zna kontekst mojej pracy.

Chciałem korzystać z asystenta, któremu nie muszę za każdym razem od początku opisywać swojego środowiska. Potrzebowałem też sposobu na połączenie rozmowy z konkretnymi narzędziami: odczytem konfiguracji, diagnostyką i przygotowaniem plików.

Open WebUI daje interfejs rozmowy, a modele odpowiadają za interpretację polecenia i wybór narzędzi. Własna część projektu łączy je z dokumentacją, wyszukiwaniem wiedzy i usługami wykonującymi operacje. Obejmuje również uruchamianie, logowanie zdarzeń i obsługę błędów.

Od celu do sprawdzonego rezultatu.

Zaczynam od określenia celu. Wybrany profil modelu ma przypisany zestaw narzędzi. W zależności od zadania agent odczytuje dokumentację, wyszukuje fragmenty wiedzy lub korzysta z PC Operatora. Wynik narzędzia wraca do rozmowy i staje się podstawą kolejnego kroku.

Dostępne możliwości zależą od profilu i uprawnień danej usługi. Samo wywołanie narzędzia nie rozstrzyga, czy zadanie zostało wykonane poprawnie. Sprawdzam efekt: treść pliku, odpowiedź usługi albo stan aplikacji.

Kontekst dobrany do pytania.

HomeAI Knowledge łączy bezpośredni odczyt dokumentacji z RAG — wyszukiwaniem potrzebnych fragmentów wiedzy przed przygotowaniem odpowiedzi. Krótka mapa źródeł pomaga modelowi wybrać właściwą dziedzinę bez dołączania całej historii do każdej rozmowy.

Kolekcje przechowuję w Qdrant, a zapytania obsługuje lokalna usługa wyszukiwania. Wyniki trafiają do wybranego modelu. Jeśli używam zewnętrznego backendu, także pobrany kontekst może zostać do niego przekazany.

Narzędzia do pracy z Windows.

PC Operator udostępnia agentowi operacje na plikach, polecenia PowerShell, zadania w tle oraz inspekcję i obsługę interfejsu Windows. Osobne usługi działają w trybie użytkownika i administratora; każda ma własne uwierzytelnianie i logi.

Operacje oznaczone jako wymagające zgody przechodzą przez zatwierdzenie użytkownika. Podział ten wspiera kontrolę pracy, ale ocena dowolnego polecenia przez model nie jest gwarancją bezpieczeństwa. Zakres działania wynika również z uprawnień konta i usługi wykonawczej.

Gdy wynik operacji jest nieznany, najpierw sprawdzam stan. Automatyczne powtórzenie mogłoby wykonać tę samą zmianę drugi raz.

Usługi uruchamiane w przewidywalnej kolejności.

Środowisko korzysta z autostartu po zalogowaniu do Windows. Skrypt uruchamia potrzebne serwery, czeka na gotowość Docker Engine i wywołuje odpowiednie projekty Compose. PC Operator i router modeli mają również osobne zadania logowania. Kontenery korzystają z ustawień restartu, a wybrane usługi z kontroli zdrowia.

Start serwera modelu nie oznacza od razu załadowania wszystkich wag do VRAM. Pozwala to oddzielić gotowość usługi od użycia zasobów przez konkretne zadanie.

Open WebUI służy jako interfejs z domowych urządzeń. Usługi wykonawcze i ich API mają odrębne zasady dostępu. Publiczne portfolio na NAS-ie jest osobną witryną i nie udostępnia odwiedzającym sterowania agentem.

Dla funkcji wymagających bezpiecznego połączenia działa również warstwa HTTPS. W obecnej instalacji jej prywatny certyfikat wymaga zaufania na urządzeniu klienta. Obsługa interfejsu Windows wymaga dostępnej sesji pulpitu.

Moduły, które uzupełniają agenta.

Autopilot — dłuższe zadania

Osobny wykonawca przechowuje cel, przebieg, wyniki narzędzi i stan zgód. Ma własną pamięć zadania i może pracować niezależnie od otwartego czatu. Nie dziedziczy automatycznie całej konfiguracji ani pamięci Open WebUI.

Kontroler GPU — żądania modeli

Kolejkuje żądania przechodzące przez jego bramkę. W obecnym trybie współpracy bezpośrednie aplikacje nadal mogą korzystać z GPU. Porządkuje własny ruch, nie zapewnia globalnej wyłączności karty.

ComfyUI — generowanie obrazów

Obsługuje workflowy obrazów na tym samym komputerze. Ta integracja pozwala rozwijać zadania łączące tekst i obraz, z osobnym sprawdzaniem rezultatu generacji.

Przykład: raport z dokumentacji i stanu usług.

Ten scenariusz pokazuje planowany sposób prezentacji projektu na danych demonstracyjnych. Łączy odczyt wiedzy, użycie narzędzia i sprawdzenie końcowego pliku.

1. Źródło

   Odczyt dokumentu opisującego przykładowe środowisko.

2. Odczyt stanu

   Dobór operacji PC Operatora i zebranie odpowiedzi usług.

3. Raport

   Zapis dokumentu oddzielającego dokumentację od obserwacji.

4. Sprawdzenie

   Porównanie treści pliku z wynikami wywołanych narzędzi.

Kod, konfiguracja i sposób odtworzenia.

Najwięcej pracy jest między komponentami.

W tym projekcie najwięcej uczę się na styku usług: gdy narzędzie zwraca niepełny wynik, proces jeszcze działa w tle albo dokumentacja nie nadąża za zmianą konfiguracji. To właśnie te miejsca decydują o użyteczności całego systemu.

Rozwijam Home AI przez konkretne scenariusze i sprawdzanie efektów. Modele mogą się zmieniać; zależy mi na tym, żeby integracje, dostęp do wiedzy i obsługa wyników pozostały czytelne i możliwe do przetestowania.