zeitgesteuertes Download und Import in mySQL

[msegna]

Hallo Forum

Habe wieder einmal ein spezielles Anliegen. Möchte folgendes durchführen:
die DS soll selbstständig alle 6 Stunden vom Web eine csv Datei herunterladen und speichern. Danach sollte die Datei ebenfalls selbstständig in phpmyadmin importiert werden und eine bestimmte Tabelle überschrieben.

Der Download mit der DS sollte wohl kein Problem sein. Jedoch scheint mir unmöglich, dies zeitgesteuert und selbstständig durchführen zu lassen. Das grössere Problem habe ich mit phpmyadmin. Geht das so, wie ich mir das vorstelle? Wenn ja.....wie genau?

Für eure Beiträge möchte ich mich bereits jetzt bei allen bedanken.

Freundlichst
Moritz

 

[amarthius]

Informier dich doch mal über "cron". Damit bekommst du zumindest die Zeitsteuerung hin.

Wie du das dann mit phpmyadmin anstellst, kann ich dir nicht sagen. So weit kenne ich mich nicht aus.

 

[Matthieu]

Meinem Verständnis nach ist PHPMyAdmin eine reine PHP-Administrationsoberfläche die also immer einen GUI-Aufruf benötigt und das ist automatisiert sehr ungünstig. Ich würde mich deswegen nicht auf PMA stützen sondern nach anderen Importmethoden für die SQL-DB umsehen. Nur weil PMA das kann, muss es sich nicht unbedingt auch automatisieren lassen.

MfG Matthieu

 

[msegna]

@amarthius: ist cron bei der DS denn schon "dabei"? oder muss ich den zusätzlich installieren? Wenn cron bereits dabei ist, wo find ich diesen bzw. wie aktiviere ich diesen?

@Matthieu: dachte, dass mysql auf phpmyadmin ab Verion 5.1 zeitgesteurte Jobs erledigen könnte?

Gruss

Moritz

 

[Trolli]

Wenn Du eine PHP-Lösung auf dem Webserver bevorzugst, kannst Du dir phpMyBackupPro mal ansehen. Das kann man dann auch über cron automatisieren.

 

[jahlives]

Auf der DS gibt es irgendwo das Kommando mysqlimport welches direkt Files in die DB importieren kann.
Für csv muss man wohl etwas tricksen

mysqlimport --fields-optionally-enclosed-by=""" --fields-terminated-by=,  --lines-terminated-by="\r\n" --user=DEIN_MYSQL_USER --password DEINE_DB DEIN_FILE.csv

je nach "Art" des csv muss man die fields-Parameter anpassen. Zudem ist afaik mysqlimport nicht in PATH, also danach suchen auf der DS. Ich meine aber es sei irgendwo unterhalb von /usr/syno/

 

[msegna]

@jahlives: danke für deine Antwort. Wo genau soll ich denn diesen Befehl schreiben? im Admintool? Sorry, habe wirklilch keine grosse Ahnung und bin desshalb auf Schritt-für-Schritt-Anweisungen angewiesen.

 

[jahlives]

Ne Schritt-für-Schritt-Anleitung kann dir niemand geben, weil wir nicht wissen können wo das File herkommt, wie deine Tabelle heisst, wie die Spalten deiner Tabelle benammst sind und wie das csv aufgebaut ist
Grundsätzlich ist das ein Kommando für die Shell/Konsole (mehr dazu findest du im Wiki). Ich würde in PHPMyAdmin mal eine Testtabelle erstellen, damit du dir beim Testen im Fehlerfall nicht gleich die produktive Tabelle vernichtest Dannn lädst du die Datei aus dem Internet. Das Kommando dazu ist wget z.B.

cd /root
wget http://URL.tld/path/to/file.csv

dann musst du auf der DS mal nach dem mysqlimport Kommando suchen, damit du den korrekten Pfad bekommst

find / -type f -name mysqlimport

wenn du den Pfad hast, dann musst du noch gucken wie das csv aufgebaut ist. Oft haben csv ja ; als Trenner. Probieren könntest du also

/path/to/mysqlimport --fields-optionally-enclosed-by=""" --fields-termineted-by=";" --lines-terminated-by="\r\n" --user=DEIN_MYSQL_USER --password DEINE_MYSQL_DB /root/file.csv

wichtig: mysqlimport sucht nach einer Tabelle in MEINE_MYSQL_DB, die gleich heisst wie das csv ohne Dateiendung. also würde im obigen Bsp in der DB MEINE_MYSQL_DB die Tabelle file gesucht

 

[msegna]

@jahlives: Danke, dass ist ein super imput! Kannst du mir sagen, wohin die Datei gespeichert wird, nach dem ich sie mit dem Befehl wget heruntergeladen habe?

 

[jahlives]

Die Datei wird bei wget - sofern du nichts anderes angibst - im aktuellen Arbeitsverzeichnis gespeichert. Drum der cd /root
Im obigen Bsp wäre also das File unter /root/file.csv zu finden

 

[msegna]

hmm...jetzt bin ich unsicher:
also, ich gebe im cronjobs unter command: wget http://...... ein und bestimme, wann die downloads gemacht werden sollten. ode mache ich hier bereits meinen ersten Fehler? Wenn ich die Datei im Ordner "Unsere_Dokumente" speichern möchte muss ich...was eingeben?

 

[jahlives]

gib im cronjob einfach

cd /pfad/verzeichnis && wget http://....

an. Durch den cd legst du das Arbeitsverzeichnis fest und dann lädt der wget in dieses Verzeichnis.
Achtung: der cron verwendet eine eigene PATH-Umgebung. Kann also sein, dass wget alleine ned reicht, sondern du den ganzen Pfad zum wget angeben musst. Den kompletten Pfad zu wget kriegst du mittels

which wget

raus

 

[msegna]

der which get hat /opt/bin/wget angegeben. Indemfall muss ich: .....&& /opt/bin/wget http://.... im command eingeben?

 

[jahlives]

jap

 

[msegna]

jawoll...ich habs geschafft! musste noch volume1 angeben

So, jetzt zum nächsten Schritt. die wird jetzt periodisch überschrieben. So weit so gut. Nun sollte ich das mysqlimport finden. habe den Befehl in putty eingegeben: find / -type f -name mysqlimport
hat aber nichts ergeben...d.h. es bleibt einfach stehen. wo könnte diese datei versteckt sein?

 

[jahlives]

klar bleibt der erstmal stehen. Der muss ja erst alle deine volumes abklappern um den Befehl zu finden. Erst wenn du auf der Shell wieder was tippen kannst ist die Suche abgeschlossen

 

[syntec]

Sorry, dass ich mich so spät einmische

Ich sichere seit gestern meine Dateien per mysql/gzip etc. folgendermaßen (Habe Zugriff auf den mysql-Server von extern)

Daten ziehen
/usr/syno/mysql/bin/mysqldump --all-databases --comments --user=XXX --password=XXX --host=XXX | /bin/gzip > /volume1/verzeichnis/backup.sql.gz

Daten lokal einfügen
/bin/gunzip -c /volume1/verzeichnis/backup.sql.gz | /usr/syno/mysql/bin/mysql --default-character-set=latin1 --user=root --password=XXX --host=localhost

Charset beim lokalen einfügen muss evtl. angepasst werden (in diesem Fall eine uralte mysql Datenbank auf dem "richtigen" Server)

 

[msegna]

So, jahlives, bin wieder mal da
Hatte etwas viel um die Ohren und konnte mich nicht mehr um das Problem kümmern. Die Suche nach mysqlimport blieb erfolglos. Kam nichts auf den Bildschirm.
Kann ich die Datei noch anders suchen ?