LLM auf der DS220+

[Harry K]

Moin. Auf die Gefahr hin, das ich wieder mal ins Fettnäpfchen trete.....
Im folgenden Link, wird erklärt wie man eine LLM auf der Nas installieren kann.
https://www.haeussler.name/blogs/ho...auf-einer-synology-diskstation-mit-openwebui/
Ich kam nicht sehr weit.
fehlermeldung:
docker: permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/create?name=open-webui": dial unix /var/run/docker.sock: connect: permission denied.
See 'docker run --help'.

mit See 'docker run --help' kann ich nichts anfangen

 

[Stationary]

Vermutlich nicht als root durchgeführt.

 

[Harry K]

?!? Was muss ich machen?

 

[plang.pl]

Ich wage mal zu bezweifeln, dass das auf der 220+ gut laufen wird.
Du musst wenn du das im Aufgabenplaner ausführst, den Benutzer der Aufgabe auf root ändern.
Falls du das manuell über ssh machst, ersetze "docker" durch "sudo docker"

 

[Ulfhednir]

Warum sollte das nicht gut laufen? Wenn man "nur" die APIs der Anbieter verwendet, hast du auf der DS nicht allzu viel Last.
Wobei wichtig wäre: Die APIs verbrauchen Token (= Cash)
Das kann aber wohlmöglich im konkreten Anwendungsfall möglicherweise im Vergleich zu monatlichen Kosten günstiger sein. Zumindest dann, wenn man es nicht all zu häufig verwendet.

P.S.: Wer lokale LLMs auf dem PC ausprobieren möchte, kann sich mal GPT4All anschauen. Setzt in dem Fall natürlich potente Hardware voraus.

 

[Harry K]

Moin, danke für die Tips. Ich habe es über den Aufgabenplaner gemacht. mit root. Bekomme allerdings die Fehlermeldung:

Fehler: Gesicherte Verbindung fehlgeschlagen​

Beim Verbinden mit IP.adresse trat ein Fehler auf. PR_CONNECT_RESET_ERROR


Fehlercode: PR_CONNECT_RESET_ERROR

IP.Adresse habe ich ein durch meine IP ersetzt,

Hab nach dem Fehler gegoogelt. Gibt da für viele Möglichkeiten. Oder ist es für Euch ersichtlich.

Zusatz. würde es, wenn es dann läuft, helfen den Speicher auf 16 GB zu erhöhen? speicher.de hat den auf ds220+ getestet,

Danke für Eure Hilfe

 

[Harry K]

Bin wieder einen Schritt weiter. Jetzt habe ich folgende Meldung.
Die Verbindung zum Server wurde zurückgesetzt, während die Seite geladen wurde.

• Die Website könnte vorübergehend nicht erreichbar sein, versuchen Sie es bitte später nochmals.
• Wenn Sie auch keine andere Website aufrufen können, überprüfen Sie bitte die Netzwerk-/Internetverbindung.
• Wenn Ihr Computer oder Netzwerk von einer Firewall oder einem Proxy geschützt wird, stellen Sie bitte sicher, dass Firefox auf das Internet zugreifen darf.

Tippe auf Firewall. installiert ist Malwarebytes und Windows Sicherheit. Wie und Wo muss ich da Einstellungen machen. Finde da nichts mit Freigabe. Oder sind das Fritzbox Einstellungen?

 

[Harry K]

ich komme nicht weiter. test auf:
Brave, Google chrome, MS Edge, Vivaldi erhalte ich:
ERR_INVALID_HTTP_RESPONSE
Bitte um Hilfe