tvstreamrecord - Aufzeichnen von HTTP-Streams

[OliOS/2]

Guten Morgen Pav,

ich bin seit gestern Nutzer der von dir entwickelten tvstreamrecord Software. Zu allererst möchte ich dir einen herzlichen Dank aussprechen, dass du diese Software auch anderen zugänglich machst und darüber hinaus auch noch sehr aktiv hier im Forum bei Problemen weiterhilfst.

Ich nutze deine Software auf einer 1815+ in Verbindung mit einem Fritz!Repeater (DVB-C) und habe folgendes Problem:
Bei der Aufnahme zweier Sendungen, die sich überschneiden, wird die jeweilige Aufnahme für die Dauer der Überschneidung in viele kleine Dateien (von ca. 5-15 MB Größe) aufgeteilt, was ich mir nicht erklären kann. Leider hilft es nicht, diese Streams zusammenzufügen, da diese trotz "Reparatur" an den zusammengefügten Stellen Artefakte enthalten.
Der Repeater sollte nicht das Problem sein, da dieser 2 Streams liefern kann und parallel dazu kein weiteres Gerät auf den Repeater zugreift.
Seltsam ist allerdings, dass während sich überschneidender (also gleichzeitiger) Aufnahmen immer nur 1 Tuner des Repeaters verwendet wird.

Hast du eine Erklärung, woran dies liegen könnte? tvstreamrecord ist in der Version 1.3.3 und ffmpeg ist in der Version 3.4.1-9 installiert.

Vielen Dank und viele Grüße
Oliver

 

[Pavion]

Hallo Oliver,

Die Aufteilung in kleine Dateien kommt daher, dass wenn neuer Stream abgerufen wird, wird der alte vom Receiver unterbrochen. 10 Sekunden später versucht mein Tool den alten neuzustarten, ruft ihn auf... und es dreht sich im Kreis. Die Dateifragmente sind daher eher Reißverschlussverfahren.

Leider kann ich Dir keinen konkreten Tipp geben, da es stark geräteabhängig ist. Im alten Eintrag im AVM Forum finden sich Hinweise, dass bei Deinem Fritz!Repeater generell nur ein Stream pro Gerät möglich ist. Ist es so, weiß ich auf Anhieb auch nicht weiter... Wenn Du zwei Geräte hättest oder die Steams separat angesteuert werden könnten (mit &tunerId=1 oder so), wäre eine Lösung sicher möglich.

Gruß
Pav

 

[OliOS/2]

Hallo Pav,

vielen Dank für deine Antwort! Das gibt mir die Gewissheit, dass dieses Problem nicht durch eine Fehlkonfiguration/Fehlbedienung meinerseits hervorgerufen wird. Vielen Dank auch für den Verweis zum AVM Forum. Leider habe ich keine Möglichkeit gefunden, den Tuner separat anzusteuern.

Wäre es mit zumutbarem Aufwand möglich, dass du in deine Software eine Abfrage bzw. einen Hinweis einbaust, falls es zu überschneidenden/gleichzeitigen Aufnahmen kommt? Eine Luxuslösung wäre natürlich die, dass man in einem solchen Fall auf eine zweite Netzwerkkarte, die dann für den Fritz!Repeater ein anderes Gerät darstellt, ausweichen könnte. Viele DiskStations sind mit zwei, die von mir eingesetzte 1815+ sogar mit vier Netzwerkanschlüssen ausgestattet, die auch jeweils getrennt angesprochen werden können. Somit wäre eine solche Lösung sicherlich auch für andere Benutzer sehr hilfreich. Aber auch die „einfache“ Variante, dass ein Warnhinweis kommt, falls sich zwei Aufnahmen überschneiden sollten, wäre für mich schon eine große Hilfe.

Nochmals vielen Dank für deine Antwort!

Viele Grüße
Oliver

 

[Pavion]

Wenn Du zwei Fritz!Repeater hättest, solltest Du jetzt schon mit meinem Tool eine automatische Umschaltung aktivieren können.
Bei zwei Netzwerkkarten (oder gar Link Aggregation) sehe ich das schon etwas skeptischer, da muss man ggf. mit Routing usw. spielen, kenne mich zu wenig aus.

Eine eindeutige Erkennung, dass ein Gerät keine zwei Streams kann, kann ich mir kaum vorstellen. Ggf. ein Schalter "Einzelstream" und dann gäbe es eine pauschale Warnmeldung, wenn die Überlappung ensteht?! Konsequenterweise müsste dann bei einer Überlappung alles parallel laufende abgebrochen und der neue Stream bevorzugt werden. Also nett wäre es Dein Problem löst es aber nicht wirklich

 

[OliOS/2]

Hallo Pav,

die Anschaffung eines zweiten Repeaters steht aktuell nicht auf dem Plan. Falls es tatsächlich einmal zu Überschneidungen kommen sollte und es gibt zu einer der betroffenen Sendungen keine Wiederholung, kann ich auf meinen TV ausweichen.

Mir würde tatsächlich ein Schalter ausreichen, dass nur ein einzelner Stream zur Verfügung steht. Das wichtigste ist für mich nicht unbedingt die Aufnahme von zwei parallelen Streams, sondern vielmehr die Tatsache, dass eine Warnung bei sich überlappenden Sendungen erscheint, da ansonsten in meinem Fall keine der beiden Aufnahmen verwendbar ist.

Bezüglich der Handhabung von mehreren Netzwerkkarten wäre in meinen Augen ebenfalls eine manuelle Handhabung ausreichend. Manuel würde in diesem Fall bedeuten, dass man in der Grundkonfiguration die Netzwerkkarte festlegt, über die grundsätzlich die Kommunikation stattfinden soll und darüber hinaus die weitere Netzwerkkarte/die weiteren Netzwerkkarten für sich überschneidende Sendungen festlegen kann.
Nach meinem Verständnis passiert dies (eventuell unbeabsichtigt) jetzt schon in deiner Software, da in meinem Fall aktuell nicht LAN 1, sondern LAN 4 meiner DiskStation für den Netzwerktransfer verwendet wird.

Wie allerdings schon in meinem ersten Posting zum Ausdruck gebracht, wäre ich schon sehr glücklich über eine Lösung, die einen Hinweis bei sich überschneidenden Sendungen ausgibt.

Viele Grüße
Oliver

 

[thommy76]

Hallo Pav,

der Test deiner letzten Änderungen war erfolgreich - funktioniert alles so wie gedacht - danke.
Die fehlerhaften/abgebrochenen Aufzeichnungen haben wohl die gleiche Ursache wie bei
Oli/OS2 . Offenbar kann (bei mir FB 6490 Cable) immer nur ein Stream an eine IP gesendet werden.
Das hat also mit deinem Programm nichts zu tun.
Ja eine Funktion, die eine Überschneidung "meldet" wäre nicht schlecht, aber das ist natürlich größerer Aufwand.

Eine Kleinigkeit ist mir noch aufgefallen:
Programmierte Sendungen werden ja im EPG-Chart markiert - das ist schön.
Nur leider prüfst du, ob Beginn und Ende exakt den EPG-Zeiten (- bzw. + "EPG-Verlängerung") entspricht.

Nun gibt es mehrere Situationen, wo das - nach meiner Meinung - nicht so gut ist:
- Beginn / Ende der Aufzeichnung werden manuell korrigiert (bzw. direkt über "Bearbeiten und Aufnehmen") -> die Aufnahme wird nicht markiert
- zu einem späteren Zeitpunkt wird die Voreinstellung "Konfig./EPG" geändert -> bereits
vorhandene Aufnahmen (ggf. mit Wiederholung) werden nicht mehr markiert
- wenn nur ein Stream gleichzeitig möglich ist (s.o.) und man 2 aufeinanderfolgende Sendungen
(des selben Senders - z.B. 2 Folgen einer Serie, die unmittelbar nacheinander gesendet
werden) aufzeichnen möchte, kann man ja Beginn oder Ende entsprechend ändern, so als wäre es nur eine Sendung -> im EPG-Chart werden beide nicht markiert

Eigentlich sollte es doch reichen zu prüfen, ob die Sendezeit (laut EPG) komplett innerhalb
einer programmierten Aufnahmezeit liegt, oder habe ich da einen Denkfehler?

Ich hab mir das mal angesehen und in tvstreamrecord.py insgesamt 4 SQL-Anweisungen gefunden, die ich mal testweise geändert habe:

"... datetime(guide.g_start, '-%s minutes')=records.rvon and datetime(guide.g_stop,
'+%s minutes')=records.rbis ..."

geändert in:

"... datetime(guide.g_start)>=records.rvon and datetime(guide.g_stop)<=records.rbis ..."

Ich weiß nicht genau, ob alle 4 Stellen nötig sind (so genau hab' ich dein Script noch
nicht "durchschaut" ) - aber zumindest bei mir ist die Wirkung genau die, die ich wollte
-------------------------------------------------

Ich habe natürlich auch nach den - von mir gewünschten - Änderungen gesucht und
auch noch einen zusätzlichen Platzhalter eingebaut.

fn = fn.replace("%orgtitle%", self.name)

Hintergrund dazu ist folgender:
Meine aufgezeichneten Sendungen lasse ich von ffmpeg als mp4-Dateien speichern.
In dem Zusammenhang habe ich mich etwas mehr mit den Möglichkeiten von ffmpeg beschäftigt
und herausgefunden, dass u.a. auch Meta-Angaben übergeben werden können.
Da bietet es sich ja an, den Titel der Sendung direkt in die mp4-Datei speichern zu lassen.
Leider habe ich dafür keinen Platzhalter gefunden, denn %title% ist ja der um alle Nicht-ASCII-Zeichen bereinigte Titel. Da du den ja u.a. für den Dateinamen verwendest, kann ich
das durchaus verstehen (obwohl mir heute kein Filesystem mehr bekannt ist, dass z.B. mit "-ÄÖÜäöüß" oder Leerzeichen Probleme hätte - bei Satzzeichen o.ä. sieht das schon
anders aus - ist aber natürlich eine Frage des verwendeten Zeichensatzes wofür man dann einen Konfig-Parameter bräuchte)
Evtl. könnte man ja auch wandeln "Ä" -> "Ae" ... ja ich weiß: ist Aufwand ...

Aber eine Datei "Sch_ne_M_rzbl_her.mp4" (Titel: "Schöne Märzblüher" - ist zugegeben ausgedacht) ist nicht so schön.

Mein FFMPEG Parameter beinhaltet jetzt zusätzlich "-metadata title=%orgtitle%".
Damit steht dann der "richtige" Titel in der mp4-Datei (und wird von meinem Player angezeigt)
-------------------------------------------------

Wenn du der Meinung bist, dass diese Änderungen Sinn machen, kannst du sie ja in eine spätere
Version einbau'n (hat aber keine Eile). Wenn ich da was falsch verstanden habe oder es
"Nebenwirkungen" gibt, bin ich für einen Hinweis dankbar - ich will ja (langsam) lernen,
dein Programm zu verstehen.

Zum Schluss ganz wichtig!
Bitte fasse meine Ideen nicht als Nörgelei auf!
Du hast wirklich ein gutes und absolut nützliches Programm geschrieben.
Wenn ich mir anschaue, wann du damit begonnen hast, kannst du die Stunden vermutlich
nicht mal schätzen, die du investiert hast.

Ich versuche nur, etwas sehr Gutes vielleicht noch ein klein wenig besser zu machen

Gruß Thommy

 

[Pavion]

Hallo Thommy,

vielen Dank für Dein Beitrag, gute Ideen! Einzelheiten per PM

Gruß
Pav

 

[Itaka]

Hallo Pav,

ich lese diesen Tread und bin völlig fasziniert, aber ich komme mir vor wie am ersten Tag im Schulhaus und glaub mir das ist soooo lange her. Will heissen ich staune und habe den Eindruck ich verstehe zwar nicht was die genau sagen wollen, aber ich möchte das verstehen und vor allem auch nutzen.

Ich stehe kurz davor meine alte Fritzbox zu ersetzen und zur neuen dazu original Repeater von AVM zu kaufen. Ebenso möchte ich künftig nicht mehr Tag und Nacht meinen PC eingeschaltet lassen, nur um Fernsehen mit dem EPG aufzuzeichnen.


Könntest Du mal runterbrechen wie ich das als einfach gestrickter mit meiner Syno lösen kann? Ich meine so quasi ein Jamie Oliver Rezept, welches alle verstehen und umsetzen können.


Herzlichen Dank für Dein Verständnis
Itaka

 

[Pavion]

Hallo Itaka!

Ach, das ist keine Atomwissenschaft

Als Erstes musst Du ein Gerät haben, welches die Fernsehsender als Streams im Heimnetz bereitstellt (als direkte URLs und nicht nur per App). Je nach Bedarf, Budget und Anschluss (SAT, DVB-T, Entertain usw.) gibt es viele unterschiedliche Ausführungen. Für Kabelanschlüsse ist derzeit wohl der Fritz!WLAN Repeater DVB-C in (habe selbst kein Kabel).

Repeater in die Steckdose, Kabel rein, WPS einrichten, über das Web-Interface eine Playlist (Senderliste) erstellen und herunterladen.
Jetzt kann man am PC, mit Tablet usw. fernsehen. Hinweis: bei diesem Repeater ist wohl nur ein Stream pro Endgerät erlaubt, also keine zwei Parallelaufnahmen.

Wenn das läuft, kann mein Tool dann auf Synology diese Streams auch einlesen und zu bestimmten Zeiten aufnehmen.
- tvstreamrecord über Package Station installieren (automatisch über cphub.net oder manuell die letzte Version bei GitHub)
- Video Station installieren (sofern noch nicht installiert)
- die Senderliste hochladen
- Konfiguration (Aufnahmepfad, Dateierweiterung (verm. .mkv/.mp4) usw.)
- EPG einrichten und/oder TV-Browser nutzen (nur für PC, dafür aber schöner )
- Aufnehmen

Wenn Du mehr Fragen hast, melde Dich, auch per PM.

Gruß
Pav

 

[Itaka]

Vielen Dank für die feine Antwort, nun habe auch ich kapiert. Dann nehme ich das Schritt um Schritt und werde mir im Winter den Ersatz der Fritzbox mit den dazugehörigen Accespoints/Repeatern vornehmen und jenen mit TV Streaming integrieren. Wenn das geklappt hat muss ich mich vielleicht nochmals melden.

Gute Zeit

Itaka

 

[c0smo]

Ich zitiere mich mal selber von einem anderen Post eben.

DANKE für diesen genialen Tipp! Überlege schon länger ob es nicht möglich wäre mein TV Programm aufzunehmen, habe mich aber aus Zeitmangel nie damit beschäftigt. Und die Anschaffung neuer Hardware wollte ich auch umgehen.

Gerade das Paket installiert, kurz eingerichtet und schon wird aufgezeichnet! GENIAL!
Gibt es dafür auch eine mobile Schnitstelle oder muss alles über den Browser programmiert werden? Muss mal schauen wie die mobile Ansicht der Seite ist.
Wird EPG automatisch aktualisiert?

 

[c0smo]

Nach den ersten Test kommt jetzt die Ernüchterung. Die Filme werden zum Teil asynchron abgespielt. Am Handy mit MX Player passt es. Am PC passt der Anfang aber nach 2-3 Min hinkt der Ton hinterher. Am TV über den Remote Player passt es gar nicht. Aufnahmen von den Privaten funktionieren am TV gar nicht. Weder Bild noch Ton. Die Aufnahmeformate unterscheiden sich unter den einzelnen Sendern. Die OR Sender in HD laufen, aber mit der genannten Tonproblematik. Sender in SD, zb RTL oder Pro7 laufen gar nicht am TV.
Die erstelleten Aufnahmen werden auch nicht indexiert, muss manuell angestossen werden.

Liegt das an den Parametern von ffmpeg? Gibt es hier Erfahrungswerte?

 

[Pavion]

Versuche bitte die Erweiterung anzupassen. Je nach Erweiterung reagiert ffmpeg etwas unterschiedlich. mkv, mp4 könnte besser laufen.

 

[alexs1988]

Hatte das anfangs glaub auch. Ganz sicher bin ich mir aber nicht mehr schon so lange her.

nehme auch in mp4 auf und mit dem ffmpeg von der Videostation

 

[c0smo]

Jetzt geht gar nichts mehr. Habe von mp4 auf mkv umgestellt. Jetzt bekomme ich als Ausgabe nur noch dutzende 0byte Dateien.
Im Einsatz ist die 1.3.6

2018-10-28 17:59:07.594	FFMPEG record 'test' ended
2018-10-28 17:59:07.595	Something went wrong with 'test', retry 1/99 in 10 seconds
2018-10-28 17:59:17.597	FFMPEG (rtsp) record 'test' called with:
2018-10-28 17:59:17.597	[u'/volume1/@appstore/VideoStation/bin/ffmpeg', u'-i', 'rtsp://192.168.178.1:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=1&pids=0,16,17,18,20,101,6040,1401,1402,1403,1404,1406,1407,1408,6041', u'-y', u'-t', u'102', u'-loglevel', u'fatal', u'-acodec', u'copy', u'-vcodec', u'copy', u'/volume1/TV Records/test - 20181028175917.mkv']
2018-10-28 17:59:22.939	FFMPEG record 'test' ended
2018-10-28 17:59:22.940	Something went wrong with 'test', retry 2/99 in 10 seconds
2018-10-28 17:59:32.951	FFMPEG (rtsp) record 'test' called with:
2018-10-28 17:59:32.951	[u'/volume1/@appstore/VideoStation/bin/ffmpeg', u'-i', 'rtsp://192.168.178.1:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=1&pids=0,16,17,18,20,101,6040,1401,1402,1403,1404,1406,1407,1408,6041', u'-y', u'-t', u'87', u'-loglevel', u'fatal', u'-acodec', u'copy', u'-vcodec', u'copy', u'/volume1/TV Records/test - 20181028175932.mkv']
2018-10-28 17:59:38.307	FFMPEG record 'test' ended
2018-10-28 17:59:38.308	Something went wrong with 'test', retry 3/99 in 10 seconds

 

[Pavion]

Du könntest -loglevel error verwenden, um etwas mehr Ausgabe bei Fehlern zu bekommen. Da mein Tool ja auch nichts anderes tut, als ffmpeg aufzurufen, kannst Du aber auch die Befehle direkt in der Konsole der DS testen, um die Ausgabe zu sehen und besser die richtige Konfiguration zu finden. Sorry, dass es dafür keine patentierte Losung gibt :/

 

[c0smo]

Und mit welchen Befehlen soll ich testen? Gibt es eine Zusammenfassung, was ich konkret an der Codierung ändern kann?
Warum kommt jetzt gar nichts mehr, weder mit mp4 noch mkv? Erhalte nur noch 0 byte Dateien, das war nach der Installation nicht. Sagt dir das als Entwickler gar nichts?

FFMPEG record 'Good Boss, Bad Boss: Rengser Mühle' ended with an error:[mpeg2video @ 0x1d76300] Invalid frame dimensions 0x0. Last message repeated 2 timesDecoder (codec dvb_teletext) not found for input stream #0:0

 

[Pavion]

Leider nicht wirklich: es gibt dutzende unterschiedliche Geräte mit verschiedensten Steams und ffmpeg ist die wohl weltbekannteste Bibliothek / Software für Stream-Manipulationen. Mein kleines Tool ist quasi nur eine GUI dafür mit etwas mehr Schnickschnack wie EPG und Timer. Normalerweise soll ffmpeg alles Mögliche drauf haben, konkreter kann man es testen, wenn man direkt in der Konsole der DiskStation die Befehle eingibt, zum Beispiel:

ffmpeg -i 'rtsp://192.168.178.1:554/?freq=122&bw=8&msys=dvbc&mtype=64qam&sr=6900&specinv=1&pids=0,16,17,18,20,101,6040,1401,1402,1403,1404,1406,1407,1408,6041' -y -loglevel error -t 40 -acodec copy -vcodec copy '/volume1/TV Records/test.mp4'

hier kann die Dateierweiterung (Tipp: Stream mit VLC aufm DesktopPC abspielen und Medieninformation aufrufen [Ctrl+I]) oder weitere Parameter verändert werden und die Ausgabe auf Fehler kontrolliert werden.

Die so ermittelten Parameter können dann in meinem Tool eingetragen werden. Und wenn Deine Aufnahmen jetzt gar nicht mehr laufen, stelle bitte die Einstellungen zurück, wie sie waren, oder installiere das Tool komplett neu.

 

[c0smo]

Hab jetzt nochmal alles neu gemacht. Mit Ts Dateien fahre ich bis jetzt am besten. Einzig die ab und zu auftretende Klötzchenbildung ist noch nervig.
Ich beschäftige mich eigentlich schon seit Jahren mit Codierung, aber bisher immer nur mit einer GUI - auch was ffmpeg angeht. Bin nicht so drin in dem manuellen setzen von Parametern und die Kommandozeile liegt mir auch nicht wirklich, zumindest nicht in diesem Bereich.
Wo trage ich die Parameter ein? Alles in einer Zeile bei "zusätzliche Parameter"?
Gibt es eigentlich noch andere Quellen für EPG, die ich direkt als link einfügen kann? Webgrab habe ich schon angesehen, ist sber wieder aufwendiger.

 

[Pavion]

Ja, die Parameter kannst Du nur unter "zusätzliche Parameter" eingeben. Im Normalfall sollte die Eingabe der Erweiterung genügen. Alternativ zu dieser kann auch der Parameter -f verwendet werden (z.B. -f mp4 oder -f h264). Der Unterschied: ohne -f versucht ffmpeg das Streamformat anhand der Erweiterung zu erraten, mit -f wird was konkretes vorgegeben.

Bezüglich EPG würde ich Dir das PC Programm TV-Browser empfehlen. Mit einem Plugin (TSRPlugin), welches direkt aus der Software heraus installiert werden kann, kannst Du die gewünschten Sendungen aufnehmen lassen. Weitere XMLTV-Quellen (außer die voreingetragene) sind mit d.Z. nicht bekannt, da ich mich schon länger nicht damit beschäftigt habe. Vielleicht kennt jemand hier im Forum noch was Neues.

Wegen Klötzchen: Dein Setup sieht schon sehr hochwertig aus aber zur Sicherheit prüfe bitte, dass die Auslastung Deiner DS während der Aufnahme nicht zu hoch ist, und dass Du keine WiFi-Verbindung zwischen Deinem Stream-Gerät und DS verwendest.