LLM auf der DS220+

[Harry K]

Moin. Auf die Gefahr hin, das ich wieder mal ins Fettnäpfchen trete.....
Im folgenden Link, wird erklärt wie man eine LLM auf der Nas installieren kann.
https://www.haeussler.name/blogs/ho...auf-einer-synology-diskstation-mit-openwebui/
Ich kam nicht sehr weit.
fehlermeldung:
docker: permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Post "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/create?name=open-webui": dial unix /var/run/docker.sock: connect: permission denied.
See 'docker run --help'.

mit See 'docker run --help' kann ich nichts anfangen

 

[Stationary]

Vermutlich nicht als root durchgeführt.

 

[Harry K]

?!? Was muss ich machen?

 

[plang.pl]

Ich wage mal zu bezweifeln, dass das auf der 220+ gut laufen wird.
Du musst wenn du das im Aufgabenplaner ausführst, den Benutzer der Aufgabe auf root ändern.
Falls du das manuell über ssh machst, ersetze "docker" durch "sudo docker"

 

[Ulfhednir]

Warum sollte das nicht gut laufen? Wenn man "nur" die APIs der Anbieter verwendet, hast du auf der DS nicht allzu viel Last.
Wobei wichtig wäre: Die APIs verbrauchen Token (= Cash)
Das kann aber wohlmöglich im konkreten Anwendungsfall möglicherweise im Vergleich zu monatlichen Kosten günstiger sein. Zumindest dann, wenn man es nicht all zu häufig verwendet.

P.S.: Wer lokale LLMs auf dem PC ausprobieren möchte, kann sich mal GPT4All anschauen. Setzt in dem Fall natürlich potente Hardware voraus.

 

[Harry K]

Moin, danke für die Tips. Ich habe es über den Aufgabenplaner gemacht. mit root. Bekomme allerdings die Fehlermeldung:

Fehler: Gesicherte Verbindung fehlgeschlagen​

Beim Verbinden mit IP.adresse trat ein Fehler auf. PR_CONNECT_RESET_ERROR


Fehlercode: PR_CONNECT_RESET_ERROR

IP.Adresse habe ich ein durch meine IP ersetzt,

Hab nach dem Fehler gegoogelt. Gibt da für viele Möglichkeiten. Oder ist es für Euch ersichtlich.

Zusatz. würde es, wenn es dann läuft, helfen den Speicher auf 16 GB zu erhöhen? speicher.de hat den auf ds220+ getestet,

Danke für Eure Hilfe

 

[Harry K]

Bin wieder einen Schritt weiter. Jetzt habe ich folgende Meldung.
Die Verbindung zum Server wurde zurückgesetzt, während die Seite geladen wurde.

• Die Website könnte vorübergehend nicht erreichbar sein, versuchen Sie es bitte später nochmals.
• Wenn Sie auch keine andere Website aufrufen können, überprüfen Sie bitte die Netzwerk-/Internetverbindung.
• Wenn Ihr Computer oder Netzwerk von einer Firewall oder einem Proxy geschützt wird, stellen Sie bitte sicher, dass Firefox auf das Internet zugreifen darf.

Tippe auf Firewall. installiert ist Malwarebytes und Windows Sicherheit. Wie und Wo muss ich da Einstellungen machen. Finde da nichts mit Freigabe. Oder sind das Fritzbox Einstellungen?

 

[Harry K]

ich komme nicht weiter. test auf:
Brave, Google chrome, MS Edge, Vivaldi erhalte ich:
ERR_INVALID_HTTP_RESPONSE
Bitte um Hilfe

 

[Tommi2day]

Empfohlen ist ja der Zugriff via ssh mit dem Admin account. Bei mir auf meiner ds1618+ startet das fast so wie im Blog beschrieben, lediglich den Ordner für die DB muss man vorher anlegen.

mkdir /volume1/docker/open-webui

docker run -d -p 3010:8080 -v /volume1/docker/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Es dauerte auch gut 10min bis es das erste Lebenszeichen im Web gab, aber das kann man mit docker logs -f <id> gut mitlesen bis das hier kommt

v0.5.20 - building the best open-source AI user interface.

https://github.com/open-webui/open-webui

Fetching 30 files: 100%|██████████| 30/30 [01:27<00:00, 2.93s/it]
INFO: Started server process [1]
INFO: Waiting for application startup.

dann erst bekommt man mit http://<ip-der-ds:3010 eine Antwort und nach dem Klick auf "loslegen" folgendes Fenster


Man kann das natürlich alles statt mit ssh anzulegen auch im Containermanager in die Gui eintragen und so den Container starten



Im Github sind noch viel mehr Optionen beschrieben: https://github.com/open-webui/open-webui

 

[Harry K]

Moin, ich könnte schreien, aber nicht za*****do.
ich bekomme schon wieder Fehlermeldung:
docker: Error response from daemon: driver failed programming external connectivity on endpoint open-webui (119b22886c76a7a199800b752652987689858ac96e98351cc9f467ee9f0c4092): Error starting userland proxy: listen tcp4 0.0.0.0:88: bind: address already in use.

Könnte mir das jemand einrichten?

 

[Harry K]

schade.... keiner der Helfen kann/mag/will?!?

 

[JohneDoe]

Hast du dir mal selber die Fehlermeldung durch gelesen? Da steht doch direkt drin was dein Fehler ist. Der Port wird schon benutzt. Du kannst keinen Port doppelt vergeben. Wieso kann man nicht selber probieren das Problem zu löschen. Wenn du die Meldung 1:1 in Google einfügst, dann hast du direkt eine Lösung.

 

[Harry K]

Der Port ist auf der Fritzbox freigeben. er sollte dafür sein, was habe ich dann falsch gemacht? Sorry, aber ich hab da keine Ahnung von. da bin ich schon zu alt zu.

 

[JohneDoe]

Das hat nichts mit der Fritzbox zu tun. Dein Docker Container startet doch nicht. Er kann nicht starten, weil der Port 88 schon benutzt wird. da musst du einen anderen Port wählen....

Sorry, aber ich hab da keine Ahnung von. da bin ich schon zu alt zu.

Dann solltest du es dir aneignen. Sorry, aber mir fehlt inzwischen jegliches Verständnis für, dass man alles nutzen will und sich alles installieren will, aber es zu viel verlangt ist, wenn man mal selber was probiert zu lösen.
Und Alter ist auch keine Ausrede. Man kann immer was neues lernen. Da ist man nie zu alt für. Ich helfe normal sehr gerne, aber wenn man sieht, dass der Gegenpart sich selber gar keine Gedanken macht oder Mühe gibt, dann habe ich auch keine Lust. Da ist mir meine Zeit für zu schade

 

[McFlyHH]

...
Sorry, aber ich hab da keine Ahnung von. da bin ich schon zu alt zu.

Kann mich dem Vorredner nur anschliessen.
Dann such Dir ein anderes Hobby!

 

[Harry K]

Kannst Du dir vorstellen das es krankheitsbedingt möglich ist, nicht mehr in der Lage zu sein.... ach egal.....
Danke für die Hilfe.
Anderes Hobby, ah danke für den Tip...... Sag ich meiner blinden Freundin....

 

[Harry K]

ist ja nicht so als wenn ich gar nichts versucht hätte. kamen immer wieder neu probleme hinzu

 

[Tommi2day]

Ist ja auch nicht so, das wir Dir die Lösung nicht schon gegeben hätten. Mache es doch einfach EXAKT so wie ich es in #9 wirklich ausführlich beschrieben habe. Dann kannst Du nach ein paar Minuten die Gui auf der DS unter Port 3010 im eigenen Netz erreichen.

Wie schon geschrieben wurde, hat die Fritzbox erstmal nichts mit dem Dockercontainer auf der DS zu Tun. Mir ist auch nicht klar, wieso Du jemanden von aussen über die Fritzbox jemanden auf Deine Installation zugreifen lassen willst. Erst dann käme die Fritzbox wieder ins Spiel.

 

[JohneDoe]

Kannst Du dir vorstellen das es krankheitsbedingt möglich ist, nicht mehr in der Lage zu sein

Eben war es das Alter.....

Danke für die Hilfe.

Ich hab dir doch gesagt was du ändern musst. Soll ich es für dich noch anpassen? Eine Video Anleitung produzieren? Was sind deine Erwartungen?

Sag ich meiner blinden Freundin....

Was hat sie jetzt damit zu tun?

ist ja nicht so als wenn ich gar nichts versucht hätte. kamen immer wieder neu probleme hinzu

Und was hast du probiert? Ich sehe hier immer nur Fragen aber nie was du bis jetzt probiert hast.
Kannst du dir auch vorstellen, dass man Eigeninitiative erwartet? Soll man hier jedem User die selbe Frage immer und immer wieder Schritt für Schritt erklären?

Erklär was du probiert hast und wo die Probleme sind, dann hilft dir bestimmt auch jemand. Wenn du nur eine Fehlermeldung postest die direkt der erste Treffer bei Google sogar lösen würde, dann fragt man sich, wieso machst du das nicht selber? Frag doch eine KI, wenn du eh ein Interface für eine KI betreiben willst. Aber erwarte doch nicht, dass jemand alles für dich übernimmt. Dann musst du dir einen Dienstleister suchen. Und das mit der blinden Freundin oder der Krankheit, dass du selber nichts mehr lernen kannst, solltest du auch lieber lassen. Du kennst doch auch nicht die Hintergründe von den Leuten die dir helfen....