tvstreamrecord - Aufzeichnen von HTTP-Streams

[Pavion]

Hallo Sedrah,

mein Programm weiß nicht, von welchem Gerät (oder gar Geräten) die Streams kommen. Ehrlich gesagt, kenne ich mich da auch nicht zu gut mit der Vielfalt aus. So können meiner Kenntnis nach Kabel-, DVB-T-Geräte ohne Einschränkungen mehrere Sender gleichzeitig aufnehmen. Auch bei reinen netzwerkbasierten Sendern (Entertain usw.) ist dies der Fall. Außerdem, wie schon erwähnt, können die Streams auch aus unterschiedlichen Quellen kommen.

Bei den in Deutschland weit verbreiteten SAT-Geräten ist die Lage etwas anders. Es gibt mittlerweile genug netzwerkfähige SAT-Geräte, die an mindestens zwei LNB-Anschlusse angeschlossen sind und damit auch schon mehrere Sender unterstützen. Aber auch bei einzelnen Anschlüssen ist es nicht ausgeschlossen, wie in diesem Artikel beschrieben ist. Und wenn das nocht nicht genug wäre, reagiert jedes Gerät wohl auf unterschiedliche Weise, wenn zwei Sender miteinander "kollidieren". So war es bei meinem Gerät so (zumindest das eine Mal, wo mir das passiert war), dass die erste Aufnahme zum Zeitpunkt der Kollision auf einen anderen Sender umgeschaltet wurde (sogar mit einer anderen Auflösung) und lief ab da synchron mit der neuen Aufnahme.

Aus allen genannten Gründen kann ich mir keine pauschale Lösung bzw. Warnung vorstellen.

Aus meiner Erfahrung dürfte es bei aufeinanderfolgenden Sendungen eines gleichen Senders zu keinen Problemen durch die Kollision kommen. Wenn die Sender unterschiedlich sind, dann kann man eigentlich gar nichts machen. Klar, man kann den Vor- und Nachlauf in der Konfiguration auf 0 setzen, dann kann es halt dazu kommen, dass eine Sendung kurz vor ihrem Ende abgeschnitten wird. Bleibt es bestehen, sind die Konflikte nicht auszuschließen. Auch hier sehe ich keine pauschale Lösung.

Ich kann jedoch leider nicht nachvollziehen, warum Deine Streams im 10 Minuten-Takt wechseln würden, vor allem nach der Kollision. Könntest Du vielleicht einen entsprechenden Logauszug posten?

Gruß
Pav

 

[Sedrah]

Hi,

das stimmt und habe ich so nicht bedacht. Ich versuche beim nächsten mal darauf zu achten dass sich da keine Kollisionen einschleichen aktuell teste ich ja auch nur und nutze es noch nicht für wirkliche Aufzeichnungen. Ich habe mich verguckt es sind 10 Sekunden

Ich schicke dir mal die Logs als PM da es für das Forum denke ich einfach zu viel ist

Liebe Grüße
Sedrah

 

[Pavion]

Hallo Sedrah,

ich habe versucht mit meinen Streams Deinen Fall nachzubauen. Wie schon gesagt, mit dem gleichen Sender konnte ich zwei Dateien gleichzeitig aufnehmen (mit gleichem Inhalt), bei unterschiedlichen Sendern kam es zu keinem Fehler, die erste Datei wurde jedoch nur bedingt lesbar. Gleiches Fehlerbild konnte ich leider nicht nachvollziehen. Ein paar allgemeine Ideen:

1) Versuche die Dateierweiterung in .mpg umzuändern, könnte was bewirken.
2) Versuche die Befehlszeile (Konfiguration -> FFMPEG) um -loglevel error zu ergänzen, dann sieht man im Log etwas mehr Info über den Grund des Abbruches und kann ihn umzugehen versuchen. Schick mir bitte die entsprechende Ausgabe oder google danach.

Auch wenn ich gern helfen würde, bin ich in diesem Fall so ziemlich machtlos, das Ganze spielt sich zwischen Deiner AVM-Box und dem FFMPEG ab, welches ich nur über die o.g. Befehlszeile aufrufe.
Was mich übrigens bei Deinem Log wunderte: zwischen 16:35 und 17:00 schien die Sendung ohne Probleme zu laufen, erst um 17 Uhr fing es wieder an. Hast Du da etwas verändert?

P.S. Dickes Lob für die Sendungswahl, ich liebe diese Serien

Gruß
Pav

 

[Sedrah]

Hallo Pav,

ich werde mal die Vorschläge umsetzen und berichten/dich mit Logs versorgen. Danke für die Tipps!

Stimmt ist mir gar nicht aufgefallen, dass es hier einen Aussetzer gab. Ich habe in der Zeit nichts geändert, da ich zu der Zeit noch bei der Arbeit war.

Ich versuche es nochmal nach zu stellen. Mache dir hier nicht zu viel Arbeit wegen mir. Ich wollte nur ein Tipp geben wenn es vllt ein genereller Fehler ist. Solange ich damit alleine bin und es bis auf das eine Mal gut lief, kann ich gut damit leben. Mein Leben hängt nicht vom Fernsehen ab - ich bin einfach nur ein Technik-Freak der alles haben muss was blinkt

Liebe Grüße
Sedrah

P.S.: Danke - am Abend gabs dann auch noch Archer

 

[bwilli]

Hallo Pav,

Vielen Dank die viele Arbeit welche du schon in dieses Tool gesteckt hast. Ich bin vor etwa einer Woche darauf aumerksam geworden und versuche es nun seit dann zum laufen zu bringen. Leider möchte es bei mir nicht klappen.

Ich verwende tvstreamrecord an einer Ds 213 und der Stream kommt von einem Fritz repeater DVB-C. Ich kann zwar den Stream anschauen, aber die recording Funktion oder das Laden der EPG Infos funktionieren irgendwie nicht. Da ich hier im Forum schon von verschiedenen gelesen habe, welche tvstream record mit einer Fritz repeater verwenden, gehe ich stark davon aus, dass ich irgend eine Einstellung falsch vorgenommen habe.

Im Log erscheint beim Versuch EPG Daten zu laden folgendes:
2015-05-04 23:14:01 OUT EPG grabbing started on ORF eins HD for 60 seconds
2015-05-04 23:14:01 OUT Supplied stream could not be found or opened, aborting...
2015-05-04 23:14:01 OUT EPG Thread timer waiting till 11:24 (43798 seconds)

Irgendwie habe ich das Gefühl, dass der Fehler an der "Adresse" des Streams liegen könnte:
ORF eins HD rtsp://192.168.1.170:554/?freq=386&bw=8&msys=dvbc&mtype=256qam&sr=6900&specinv=0&pids=0,16,17,18,20,100,80,82,91,110,112

Wenn ich mit dieser Adresse versuche den stream mit ffmpeg zu bearbeiten so kommt eine Fehlermeldung, dass dieses Protokoll nicht unterstütz wird.

Falls jemand einen Tipp hat was ich probieren könnte wäre ich sehr dankbar. Falls noch weitere Informationen hilfreich sein könnten werde ich diese natürlich gerne nachliefern.

Schon mal im Voraus vielen Dank für euer Bemühen.

Liebe Grüsse
bwilli

 

[Pavion]

Hallo bwilli und willkommen im Forum!

Jetzt der Reihe nach:

1) Du musst FFMPEG für Deine Streams benutzen. Dafür muss in der Konfiguration -> FFMPEG -> Stream-Protokolle rtsp hinzugefügt werden. So in etwa:

rtmp rtp udp rtmpt rtsp

2) Wenn Du das schon gemacht hast und die Fehlermeldung wegen falschem Protokoll erhältst, dann musst du wohl eine andere FFMPEG-Version probieren (Konfiguration -> FFMPEG). Die verschiedenen Versionen sind:

/volume1/@appstore/VideoStation/bin/ffmpeg
/volume1/@appstore/AudioStation/bin/ffmpeg
/volume1/@appstore/MediaServer/bin/ffmpeg

Wenn Du einen Terminalzugang hast, kannst Du auch direkt in der Konsole experimentieren und das Ergebnis in die Konfiguration eintragen.

3) ERG-Grab funktioniert bei Deinen Streams leider ebenfalls nicht. Hierzu musst Du die XMLTV-Daten verwenden. Dafür muss in Konfiguration -> EPG:
a) Import aus Streams ausgeschaltet werden
b) XMLTV-Import eingeschaltet werden
c) Entsprechender Pfad eingetragen werden, bspw.:

http://xmltv.spaetfruehstuecken.org/xmltv/channels.xml.gz
http://www.xmltvepg.nl/rytecxmltvskyde.gz
u.v.m.

Mit der noch nicht veröffentlichen Version, die von meiner Projektseite geladen werden kann, kann man auch ein nettes kleines Tool mc2xml verwenden, welches zwar regelmäßig entweder per Hand oder irgendwie automatisiert aufgerufen werden muss, jedoch sehr viele Sender aus aller Welt unterstützt.
d) Jetzt muss noch sicher gestellt werden, dass Deine Sender der XML-Datei entsprechend benannt sind (bspw. Das Erste HD, SAT.1, SUPER RTL usw.)

Ich hoffe, ich konnte Dir damit helfen. Melde Dich, wenn Du weitere Fragen hast.

Gruß
Pav

 

[bwilli]

Hi Pav,

Wow, vielen Dank für die schnelle und super Antwort!
Ich bin begeistert! Der Punkt 2 war bei mir der wunde Punkt, ich hatte ausversehen einen falschen Pfad hinterlegt.

Bezüglich dem XMLTV-Import habe ich noch eine Frage, gibt es eine Möglichkeit mehrere URLs zu hinterlegen, damit alle Sender abgedeckt werden?

Nochmals besten Dank für deine Mühe und Arbeit!

Liebe Grüsse
Bwilli

 

[Pavion]

Hallo Bwilli,

nein, es ist leider nicht möglich. Ich habe es mir auch schon überlegt, habe es dann aber doch nicht gemacht, weil sich die Informationen, die von verschiedenen Providern kommen, teils stark unterscheiden und überlappen würden. Nicht nur der eigentliche Inhalt, sondern die Benennung der Sender und sogar in seltenen Fällen die Sendezeiten können sich unterscheiden, was zum Überquellen der Datenbank und Fehlanzeigen führen könnte.
Auf den ersten Blick bietet mc2xml eine sehr umfangreiche Lösung. Wenn Du Interesse hast, kannst Du die neuste Version von meiner Projektseite installieren und dieses Tool testen.
Der Grund, weshalb ich noch keine feste Anbindung gemacht habe, ist, dass ich dann, wie auch im Fall von FFMPEG, in die Erklärungsnot gezwungen würde und auch für dieses Tool meine Unterstützung anbieten müsste...

Gruß
Pav

 

[Pavion]

mc2xml Unterstützung

Hallo Leute,

da ich heute etwas Zeit und Lust hatte, habe ich eine neue Version gemacht, die mc2xml regelmäßig aufrufen und die Ergebnisse einlesen kann. Das Tool funktioniert nur auf x86 (INTEL) CPUs und erfordert einige Kenntnisse zur Installation. Wer es dennoch gern probieren möchte, kann die neue Version installieren und folgende Schritte zur Einrichtung versuchen:

1) mc2xml für Linux herunterladen, bsp. in /volume1/common

2a) Mit Konsolenzugriff auf DS
In der Konsole entsprechend der Anleitung auf der mc2xml-Seite den Setup-Befehl eingeben, bspw.:

cd /volume1/public
./mc2xml -c de -g 10000

und die Senderkategorie anwählen

oder

2b). Mit einem Windows-Rechner mc2xml.exe für Windows zusätzlich herunterladen, starten, Optionen wählen, resultierende Dateien xmltv.xml und mc2xml.dat auf die DS in gleichen Ordner wie 1) hochladen

3) in meinem Programm in der Konfiguration -> EPG -> Suchpfad für XMLTV-Import den Pfad zur XML-Datei eingeben (file:// ist nicht mehr erforderlich!), bspw.:

/volume1/public/xmltv.xml

4) in meinem Programm in der Konfiguration -> EPG -> mc2xml komplette Befehlszeile bspw. folgendes (auf Pfade achten!):

/volume1/public/mc2xml -D /volume1/public/mc2xml.dat -o /volume1/public/xmltv.xml -U

Damit soll es funktionieren.
Wer kein x86-CPU hat, hat immer noch die Möglichkeit mc2xml für WIndows auf einem anderen Rechner regelmäßig aufzurufen (z.B. über Autostart oder Aufgabenplanung) aus einem sich auf DS befindlichen Ordner und die xmltv.xml über mein Programm einzulesen.
Wenn Ihr mit mc2xml zufrieden seid, unterstützt den Author.

P.S. Im gleichen Zuge musste ich einige SQL-Befehle überarbeiten. Bitte meldet eventuelle Exceptions. Ich freue mich auf Euer Feedback.

P.P.S. An der Länge dieser Beschreibung und vielen "aber's" erkennt Ihr vielleicht, warum ich so lange gezögert habe, diese Art Anbindung einzurichten. Ich hoffe nur, dass es mehr Leuten nützt als diese verwirrt

Gruß
Pav

 

[Wilisch]

Hallo Pav,

möchte hier auch nochmal Danke sagen für Deine Arbeit.
Ich nutze nun das Programm beinahe täglich und es läuft inzwischen absolut stabil.
Den EPG Import hab ich inzwischen ganz abgeschalten, wenn ich was aufnehme dann weiß ich auch wann es auf welchem Sender kommt.
Vielleicht schafft AVM es ja irgendwann mal die Daten, welche im Stream ja vorhanden sind auch im richtigen Format mitzuschicken.
Im Moment hab ich eher den Eindruck, das der DVB-C Repeater bei denen in der Entwicklung schon abgeschrieben ist.

Grüße vom Wilisch

 

[Sedrah]

Hallo Pav,

leider habe ich aktuell wieder Probleme

seit dem 11.5. wird bei mir nichts mehr aufgezeichnet... Ich habe da auf jeden Fall einiges an der Syno gemacht (z.B. das OS Update) leider bekomme ich nicht mehr alles zusammen was ich da angestellt habe.
Zumindest führt es aktuell dazu, dass ich die folgende Meldung bei jeder Sendung bekomme die ich aufzeichnen möchte.

2015-05-18 17:52:33 OUT FFMPEG (rtsp) record 'VOR ORT - Aktuelles' called with:
2015-05-18 17:52:33 OUT ['/volume1/@appstore/MediaServer/bin/ffmpeg', u'-i', 'rtsp://192.168.1.51:554/?freq=642&bw=8&msys=dvbc&mtype=256qam&sr=6900&specinv=0&pids=0,16,17,18,20,106,581,582,583,584', u'-y', u'-loglevel', u'fatal', u'-t', u'746', '-acodec', 'copy', '-vcodec', 'copy', '-loglevel', 'error', u'/volume1/video/movie/VOR_ORT___Aktuelles - 20150518175233.mpg']
2015-05-18 17:52:34 OUT FFMPEG record 'VOR ORT - Aktuelles' ended
2015-05-18 17:52:34 OUT Something went wrong with 'VOR ORT - Aktuelles', retry in 10 seconds

Leider bekomme ich keine genauere Fehlermeldung trotz -loglevel error
Hast du vllt eine Idee was ich testen könnte um den Fehler zu finden?

Liebe Grüße
Sedrah

 

[Pavion]

Hallo Sedrah,

tut mir Leid, dass es wieder nicht klappt
Vielleicht wurden durch Paketinstallationen die Versionen von FFMPEG vertauscht? Probiere bitte eine andere Version:

ffmpeg
/volume1/@appstore/MediaServer/bin/ffmpeg
/volume1/@appstore/AudioStation/bin/ffmpeg
/volume1/@appstore/VideoStation/bin/ffmpeg

Ansonsten musst Du wohl leider in die Konsole gehen und den Befehl dort eingeben, um mehr Information zu bekommen:

/volume1/@appstore/MediaServer/bin/ffmpeg -i 'rtsp://192.168.1.51:554/?freq=642&bw=8&msys=dvbc&mtype=256qam&sr=6900&specinv=0&pids=0,16,17,18,20,106,581,582,583,584' -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.mpg']

<!--Mich wundert übrigens, dass in Deiner URL ein Leerzeichen zwischen spec und inv steht. Ich glaube, es gehört da nicht hin. Ist es nur ein Copy/Paste-Fehler? Bitte prüfen. -->
Edit: ich sehe in meiner Mail, dass Du die URL richtig eingegeben hattest, der Umbruch kommt irgendwie durch die Forumdarstellung.

Gruß
Pav

 

[Wilisch]

Hallo Sedrah,

am OS Update auf DSM 5.2 allein kann es nicht liegen
Ich habe auch das Update eingespielt und alles funktioniert wie vorher.
Es haben sich keine Pfade oder ähnliches geändert.

Grüße vom Wilisch

 

[Sedrah]

Hallo Pav,

danke für die schnelle Antwort! Wo das Leerzeichen herkommt kann ich jetzt nicht mehr nachverfolgen - weder in der Senderliste noch im Log ist es drin... Hatte ich wohl ein unruhigen Finger

Bei mir "funktioniert" leider nur der MediaServer-ffmpeg alle anderen schmeißen header-Fehler wenn ich es über die Konsole aufrufe. (Ja jetzt ist die URL angepasst und hat kein Leerzeichen zu viel drin)

/volume1/@appstore/VideoStation/bin/ffmpeg -i 'rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704' -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.mpg'
[mp1 @ 0x80d0600] Header missing
[mpeg2video @ 0x80cfd60] Invalid frame dimensions 0x0.
    Last message repeated 1 times

wenn ich es mit dem MediaServer-ffmpeg aufrufe bekomme ich folgende Meldung

rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704: Input/output error

Ist dir das schon mal unter gekommen?

Randfrage:
Gibt es vllt die Möglichkeit eine "eigene" ffmpeg Version zu verwenden. Dann wäre man nicht mehr von den "Verbesserungen" seitens Synology aufgeschmissen. Ich habe mich bis jetzt noch nicht wirklich mit ffmpeg auseinander gesetzt.

 

[Pavion]

Ich selbst nutze kein ffmpeg, meine Box liefert direkte HTTP-Links. Hab etwas gegoogelt und nichts direkt zutreffendes gefunden...
Einige Ideen:
1) Was steht in der Ausgabe vor dem "Input/output error"?
2) Sind Ordnernamen video und movie immer noch richtig (Groß-/Kleinschreibung etc.)?
3) Versuche bitte (auch mit anderen ffmpeg-Versionen) die Erweiterung der Enddatei zu ändern in: mp4, mkv, ts. Schaue den Output an, vielleicht könnte damit sogar das Header-Problem erschlagen werden. Auf Basis der Dateierweiterung versucht ffmpeg nämlich den Datentyp zu bestimmen. Alternativ kann man -f mpegts bzw. -f mp4 versuchen:

ffmpeg -i 'rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704' -f mp4 -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.mp4'
ffmpeg -i 'rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704' -f mpegts -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.ts'

Hoffentlich hilft was davon. Melde Dich bitte, wenn Du was hast.

Eine eigene Version zu kompilieren bringt leider nichts. Erstens muss auch diese Version system- und CPU-abhängig sein (was jetzt Synology erledigt), zweitens kann ich nach wie vor nicht wissen, welche Protokolle und wie genau unterstützt werden sollen, da es stark geräteabhängig ist. Damit würde ich mich noch tiefer in die Sache steigern, die ich zwar nicht verantworten kann aber dennoch für sie Support anbieten muss.

 

[Wilisch]

Oh, ich sehe grade .mpg

Ich benutze .ts, wenn ich mich richtig erinnere hat .mpg nicht funktioniert weil die Leistung meiner Synology zu gering war.
Welche Station hast Du denn, @Sedrah
Und was ist die Quelle welche den Stream liefert?

Grüße vom Wilisch

 

[Sedrah]

Danke Wilisch,

habe ich mir schon gedacht, dann wären hier sicherlich deutlich mehr Anfragen mit diesem Problem.

Ich weiß leider auch nur, dass ich da an der Syno selbst dran war und sonst eigentlich nichts angefasst habe.
Nutzt du auch den MediaServer-ffmpeg in Kombination mit dem AVM DVB-C Repeater?

Oh so schnell so viele Antworten

Ich habe die DS1815+ und den AVM DVB-C Repeater @Wilisch

@Pav werde ich sofort probieren

 

[Wilisch]

Ja, gleiche Konstellation wie bei Dir, aber ich nehme eben in .ts auf, das funktioniert, auch in HD

Grüße vom Wilisch

 

[Wilisch]

@Sedrah

DS1815+ Wow

Ich hab nur eine DS209 welche aber unter dem Label 211j läuft

Hier nochmal meine Einstellungen, falls es hilft:




Grüße vom Wilisch

 

[Sedrah]

So aktueller Versuch:

DS1815> /volume1/@appstore/MediaServer/bin/ffmpeg -i 'rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704' -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.ts' 
rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704: Input/output error
DS1815> /volume1/@appstore/MediaServer/bin/ffmpeg -i 'rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704' -y -t 746 -acodec copy -codec copy -loglevel error '/volume1/video/movie/Test.mp4'
rtsp://192.168.1.51:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=0&pids=0,16,17,18,20,2700,2701,2171,2670,2702,2703,2704: Input/output error
DS1815>

Der direkte Aufruf von ffmpeg (ohne Pfad) liefert leider den Fehler "Protocol not found" - hier wird wahrscheinlich eine andere ffmpeg Version genommen.

Leider gibt es auch hier nicht mehr Informationen

Danke Wilisch so sehen meine Einstellungen auch aus bis auf das Layout


Danke Pav dass du dich trotzdem darum kümmerst ich weiß, dass es nicht an deinem Produkt liegt und freue mich trotzdem Hilfe zu bekommen