LLM auf der DS220+

[Harry K]

Moin. Auf die Gefahr hin, das ich wieder mal ins Fettnäpfchen trete.....
Im folgenden Link, wird erklärt wie man eine LLM auf der Nas installieren kann.
https://www.haeussler.name/blogs/ho...auf-einer-synology-diskstation-mit-openwebui/
Ich kam nicht sehr weit.
fehlermeldung:
docker: permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/create?name=open-webui": dial unix /var/run/docker.sock: connect: permission denied.
See 'docker run --help'.

mit See 'docker run --help' kann ich nichts anfangen

 

[Stationary]

Vermutlich nicht als root durchgeführt.

 

[Harry K]

?!? Was muss ich machen?

 

[plang.pl]

Ich wage mal zu bezweifeln, dass das auf der 220+ gut laufen wird.
Du musst wenn du das im Aufgabenplaner ausführst, den Benutzer der Aufgabe auf root ändern.
Falls du das manuell über ssh machst, ersetze "docker" durch "sudo docker"

 

[Ulfhednir]

Warum sollte das nicht gut laufen? Wenn man "nur" die APIs der Anbieter verwendet, hast du auf der DS nicht allzu viel Last.
Wobei wichtig wäre: Die APIs verbrauchen Token (= Cash)
Das kann aber wohlmöglich im konkreten Anwendungsfall möglicherweise im Vergleich zu monatlichen Kosten günstiger sein. Zumindest dann, wenn man es nicht all zu häufig verwendet.

P.S.: Wer lokale LLMs auf dem PC ausprobieren möchte, kann sich mal GPT4All anschauen. Setzt in dem Fall natürlich potente Hardware voraus.

 

[Harry K]

Moin, danke für die Tips. Ich habe es über den Aufgabenplaner gemacht. mit root. Bekomme allerdings die Fehlermeldung:

Fehler: Gesicherte Verbindung fehlgeschlagen​

Beim Verbinden mit IP.adresse trat ein Fehler auf. PR_CONNECT_RESET_ERROR


Fehlercode: PR_CONNECT_RESET_ERROR

IP.Adresse habe ich ein durch meine IP ersetzt,

Hab nach dem Fehler gegoogelt. Gibt da für viele Möglichkeiten. Oder ist es für Euch ersichtlich.

Zusatz. würde es, wenn es dann läuft, helfen den Speicher auf 16 GB zu erhöhen? speicher.de hat den auf ds220+ getestet,

Danke für Eure Hilfe

 

[Harry K]

Bin wieder einen Schritt weiter. Jetzt habe ich folgende Meldung.
Die Verbindung zum Server wurde zurückgesetzt, während die Seite geladen wurde.

• Die Website könnte vorübergehend nicht erreichbar sein, versuchen Sie es bitte später nochmals.
• Wenn Sie auch keine andere Website aufrufen können, überprüfen Sie bitte die Netzwerk-/Internetverbindung.
• Wenn Ihr Computer oder Netzwerk von einer Firewall oder einem Proxy geschützt wird, stellen Sie bitte sicher, dass Firefox auf das Internet zugreifen darf.

Tippe auf Firewall. installiert ist Malwarebytes und Windows Sicherheit. Wie und Wo muss ich da Einstellungen machen. Finde da nichts mit Freigabe. Oder sind das Fritzbox Einstellungen?

 

[Harry K]

ich komme nicht weiter. test auf:
Brave, Google chrome, MS Edge, Vivaldi erhalte ich:
ERR_INVALID_HTTP_RESPONSE
Bitte um Hilfe

 

[Tommi2day]

Empfohlen ist ja der Zugriff via ssh mit dem Admin account. Bei mir auf meiner ds1618+ startet das fast so wie im Blog beschrieben, lediglich den Ordner für die DB muss man vorher anlegen.

mkdir /volume1/docker/open-webui

docker run -d -p 3010:8080 -v /volume1/docker/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Es dauerte auch gut 10min bis es das erste Lebenszeichen im Web gab, aber das kann man mit docker logs -f <id> gut mitlesen bis das hier kommt

v0.5.20 - building the best open-source AI user interface.

https://github.com/open-webui/open-webui

Fetching 30 files: 100%|██████████| 30/30 [01:27<00:00, 2.93s/it]
INFO: Started server process [1]
INFO: Waiting for application startup.

dann erst bekommt man mit http://<ip-der-ds:3010 eine Antwort und nach dem Klick auf "loslegen" folgendes Fenster


Man kann das natürlich alles statt mit ssh anzulegen auch im Containermanager in die Gui eintragen und so den Container starten



Im Github sind noch viel mehr Optionen beschrieben: https://github.com/open-webui/open-webui

 

[Harry K]

Moin, ich könnte schreien, aber nicht za*****do.
ich bekomme schon wieder Fehlermeldung:
docker: Error response from daemon: driver failed programming external connectivity on endpoint open-webui (119b22886c76a7a199800b752652987689858ac96e98351cc9f467ee9f0c4092): Error starting userland proxy: listen tcp4 0.0.0.0:88: bind: address already in use.

Könnte mir das jemand einrichten?