tvstreamrecord - Aufzeichnen von HTTP-Streams

[Pavion]

Hallo DEDEX7200Pro,

Es freut mich, dass Du mein Programm nutzst, und vielen Dank für Deinen Beitrag!
Läuft bei Dir alles immer noch zufriedenstellend? Ich überlege mir, so etwas in meine Bedienungsanleitung aufzunehmen.

Gruß
Pav

 

[kinkel13]

Hallo Pav,

ich hab mal wieder paar Fragen / Verbesserungen.
1. Ich programmiere häufig von unterwegs aus eine TV-Aufnahme, dies funktioniert(e) immer problemlos mit dem iPhone (Zugriff via VPN-Verbindung). Seit geraumer Zeit erscheint aber beim Aufruf der Aufnahmeerstellseite im TV-Record "bitte warten" und es wird keine programmierte Aufnahme (alte oder aktuelle) angezeigt. Auch die Senderliste und EPG weißt gleiches Phänomen auf. Das erstellen einer Aufnahme funktioniert dennoch, leider fehlt eben das Feedback in dem ich sehen kann ob die Aufnahme tatsächlich in der Liste steht. Nun dachte ich es liegt vielleciht an Safari, allerdings funktioniert die Darstellung mittels iPad einwandfrei. Hast du eine Erklärung dafür?
2. Weil wir gerade auch bei Fernzugriff sind. Normalerweise sollte doch bei einer VPN-Verbindung ein Zugriff auf die Netzwerkstreams (Sender) dadurch aus der "Ferne" möglich sein. Leider funktioniert das nicht. Wie könnte ich dies realisieren?

VG kinkel13

 

[Pavion]

Hallo kinkel13,

1. ich nehme also an, dass bei Dir die tabellarische Darstellung nicht funktioniert... ich kann leider schwer sagen, woran das liegen kann, es ist durchaus möglich, dass mein Paket mit irgendeinem neuen Update von Apple inkompatibel wurde. Vielleicht liegt das Problem an der übertragenen Datenmenge, dann kannst Du auch versuchen, zwischen server-seitiger und client-seitiger Darstellung in der Konfiguration umzuschalten und schauen, ob Dein Problem damit gelöst wird. Ich habe mittlerweile schon eine ganz andere Version entwickelt, die neben Python 3 Untersützung auch einige Bugfixes beinhaltet, nur kam ich nie dazu, sie offiziell freizugeben. Eine Weile steckte ich mit Synology in Verhandlung, ob sie mein Paket offiziell unterstützen wollen (nö, wollen sie nicht ), und im Forum hier war seit einem Vierteljahr nichts los. So habe ich es vorerst sein gelassen, voll nach dem Motto "don't touch the running system". Wenn Du allerdings Darstellungsprobleme mit der "offiziellen" Version hast, kann ich Dir gern die Neue, die bei mir seit Mai läuft, anbieten.

2. zum Thema VPN kann ich nur wenig sagen, weil ich es nie ausprobiert habe, aber auch hier kann ich mir vorstellen, dass das Problem mit der zu übertragenden Datenmenge zusammenhängt. Die Bandbreite eines normalen Senders (laut meiner Netstream SAT Anlage) liegt bei ca. 1,3 MB pro Sekunde, bei einem HD-Sender ist man bereits bei 1,8 MB/s. Ob das wirklich mit einem Handy, Internetverbindung und VPN funktioniert, bezweifle ich. Da Du nicht geschrieben hast, woran genau und bei welchen Geräten es bei Dir scheitert, kann ich Dir leider keine weiteren Ideen anbieten.

Gruß
Pav

 

[kinkel13]

Hallo Pav,

zu1.) leider weiß ich nicht ganz was du mit server und clientseitiger Einstellung meinst, finde dazu nix rechtes in der konfig.

zu2.) Es funktioniert. Wenn man ausreichend Bandbreite hat, kann man tatsächlich via VPN die Sender schauen. Hier bietet sich am besten an, den Senderlink zu kopieren und im vlc-player auf dem smartphone oder tablet (nur mit apple getestet) aufzurufen. Man kann dann in guter qualität schauen.

 

[Pavion]

Hallo kinkel13,

uh, peinlich, ich habe es selbst irgendwie schon leicht vergessen. Die besagte Einstellung findet man unter EPG-Einstellungen und nur für diese Tabelle wirkt sie auch. Also doch keine plausible Lösung.
Könntest Du vielleicht auf Deinem konkreten Handy die Debug-Konsole aktivieren und, sollte dort ein Fehler angezeigt werden, mir diesen mitteilen?
Hast Du die neue Version probiert? Dort sind sehr viele Änderungen bereits mitenthalten.

Diese VPN-Lösung würde bei mir sicherlich nicht funktionieren: auch mein VDSL50-Anschluss hat nur eine maximale Upload-Kapazität von ca. 1 MB/s, damit kriege ich definitiv keinen unkomprimierten Fernsehsignal durch. Höchstens wenn meine DS stärker wäre, um die bereits aufgenommenen Sendungen umkodiert zu streamen. Aber irgendwann muss ich mich auch in das VPN-Thema reindenken, interessant finde ich es schon.

Gruß
Pav

 

[ecmar]

Hallo Pavion,

wollte schon seit einiger Zeit mal einen kleinen Erfahrungsbericht verfassen, jetzt hatte ich endlich mal die Zeit.

Bei mir Zuhause setzte ich eine Sat > IP Anlage von Telestar ein als Sat Server Transmitter habe ich einen Digibit R1 und als Receiver 2 Digibit B1 wo ich auch per USB Platte oder Stick aufnehmen kann, was ein wenig aufwendig ist und die Aufnahmen können nicht im Netzwerk abgelegt werden. Zusätzlich habe ich als Datenspeicher 2 Synology DS213j (1TB) im Einsatz.

Auf einer meiner DS213j habe ich tvstreamrecord installiert, dann habe ich vom Digibit R1 eine m3u Liste exportiert und diese habe ich dann im tvstreamrecord importiert. Seither kann ich ohne Probleme Aufnahmen starten. Was ich derzeit noch nicht zum Laufen bekommen habe, ist, dass ich über den Stream auch die EPG Informationen angezeigt bekomme.

Die Aufnahmen habe ich in die VideoStation der DS intergriet und kann diese auf jedem Gerät in meinem Netzwerk abrufen. (PS3, LG TV, LG BD, iPhone & iPad mit DS App, PC VLC und Windows Media Player) Darüber freuen sich meine Kinder, wenn ich den Disney Channel plünder.

Persönlich finde ich das Programm sehr gut, einfach gehalten übersichtlich, und es kann sogar 4 Streams die maximal beim Digibit R1 möglich sind je nach Netzwerklast und Qualität SD oder HD aufnehmen. Also Rund um eine sehr gute und kostenfrei Alternative, die nach meines Erachtens durch den einen oder anderen Hersteller jetzt mal mit unterstützt werden sollte. Kleiner Tipp: Um tvstreamrecord noch etwas abzurunden würde hier eine kleine App den Bedienkomfort noch ergänzen. Vielleicht ist Telestar da etwas kooperativer und erkennt das potenzial deines Programmes.

Gruß
Elmar

 

[Pavion]

Hallo Elmar,

es freut mich, dass mein Programm seine Verwendung findet. Ich habe schon versucht, es bei Synology offiziell unterzubringen, doch mein Vorhaben wurde leider abgelehnt. An einen SAT-Anlagen-Hersteller heranzutreten habe ich bisher nicht gewagt, diese bieten meistens ihre eigenen Software-Produkte an und sind sicherlich wenig daran interessiert, Drittanbieter wie mich zu unterstützen.

Der Bezug von EPG-Daten aus Streams hängt vom Gerät und Streamformat ab. Wenn Du eine Deiner Aufnahmen mit VLC öffnest, kannst Du unter Tools -> Programm Guide nachsehen, ob Dein Stream EPG-Daten hat. Wenn VLC sie lesen kann, sollte es auch mein Programm können. Wenn es dann doch nicht funktioniert, bräuchte ich ggf. einen Ausschnitt von Dir, um der Sache auf den Grund zu gehen.

Was Deine Idee mit einer App angeht, so habe ich es mir auch eine Weile lang überlegt und jemand hat sogar mal einen Ableger (Fork) von meinem Projekt gemacht, um eine Mobile-Version zu entwickeln, hat es jedoch leider nicht zu Ende gebracht. Ich finde, dass eine App, die man getrennt für Apple (und nur auf einem Mac) und Android machen müsste, ein wenig übertrieben ist, eine mobile Darstellung hingegen wäre an sich nicht verkehrt.
Es gibt zwei Aspekte, weshalb ich es noch nicht versucht habe: zum Einen ist es natürlich ein erheblicher Aufwand, welcher keinen direkten Nutzen jedoch Fehlerpotential bringt, zum Anderen ist die Web-Darstellung eigentlich auch auf mobilen Geräten korrekt (iPhone 3GS, iPhone4, Android, Mac) und bedienbar und gerade die Tablets sind mittlerweile so groß, dass dafür keine spezielle Darstellung erforderlich ist.

Jedenfalls möchte ich Dir für Dein Feedback danke. Wenn Du weitere gute Ideen (oder gar Lösungsansätze ) hast, melde Dich!

Gruß
Pav

 

[ecmar]

Hallo Pavion,

ich komme noch mal auf zu, bzgl. den Einstellung zum EPG, habe mir auch schon die Flut an Beiträgen angeschaut/überflogen und hatte da auch bereits was ausprobiert. Allerdings meist ohne Erfolg.

Habe über VLC eine Sendung/Kanal/Stream geöffnet (http://192.168.3.5/?src=1&freq=11836&sr=27500&pol=h&msys=dvbs&pids=0,100,101,102,103,106) und konnte über Werkzeuge > Progamm_Guide kein Informationen sehen.

Über die Receiver direkt von Telestar Digibit B1 und am iPad (ElgatoTV App) werden mir die EPG Informationen angezeigt, obwohl ich dort
nur die IP Adresse des Satservers angegeben habe. Also keine Extra Einstellung EPG o.a. vorhanden.

Wenn ich im Tvstreamrecord bei der Konfiguration von EPG folgende Einstellung vornehme :



Dann werden meine Sender zum Importieren angezeigt, und nach dem Import bleibt die Liste/Ansicht ohne Inhalt.
Bei den Sendern ist der Schalter für EPG-Grap aktiviert also ein plus ist gesetzt.



Auszug aus dem LOG.

2014-08-15 14:41:06 OUT Read finished at 36/1024 MB
2014-08-15 14:41:06 OUT Could not also extract a channel list from your URLs. Please check the About page for more details
2014-08-15 14:41:06 OUT EPG grab finished with 0 channels, 0 guide infos, joined amount: 0
2014-08-15 14:41:06 OUT EPG grabbing started on ZDF_neo_HD for 20 seconds

Muss ich was besonderes beachten ?

Gruß
Elmar

 

[Pavion]

Hallo Elmar,

eigentlich hast Du schon alles ausprobiert, was so auf Anhieb möglich wäre. Hast Du eine Möglichkeit, einen Ausschnitt bzw. eine Kurzaufnahme zur Verfügung zu stellen? Vielleicht eine Minute oder so von einem der Prime-Sender, dann kann ich, wenn ich Zeit habe, etwas tiefer in die Sache reinschauen.

Gruß
Pav

 

[ecmar]

Hallo Pavion,

meinst du mit Ausschnitt einen Trace der Netzwerkdaten oder eine direkte Aufnahme ?

Gruß
Elmar

 

[Pavion]

Eine direkte Aufnahme bitte So als FTP-Link per PM oder irgendein Hoster, ich lade es dann auch zeitgleich runter.

 

[Pavion]

Hallo Elmar,

danke für Deinen Link, ich habe die Datei geladen und mit einem kommerziellen Tool aufgemacht. Auf dem nachfolgenden Bild kann man die Verteilung einzelner Streams in dem Transportstream sehen, links von deinem Beispiel und rechts von einer meiner Aufnahmen.

Wie es aussieht, fehlt Deinem Stream sämtliche Information, vermutlich um die Bandbreite zu sparen. Während ich meine Streams quasi unverändert von meiner Anlage bekomme, scheint Dein Stream im Vorfeld mithilfe von ffmpeg umkodiert zu sein, so dass nur noch Video- und Audiokanäle enthalten blieben. Sofern Du das nicht irgendwie beeinflussen kannst, sehe ich leider keine Möglichkeit, aus diesem Stream EPG-Daten rauszukriegen.
Für die meisten Sender kannst Du übrigens die EPG-Daten von einem XMLTV-Provider beziehen. Auf Deinem Screenshot habe ich bemerkt, dass Du diesen aus dem Feld "Suchpfad für XMLTV-Import" entfernt hattest. Gab es dafür einen Grund? Im Anhang findest Du eine Textdatei mit allen Kanälen eines solchen Providers. Bei dem Import muss nur darauf geachtet werden, dass Deine Kanalnamen mit den Namen aus der Datei übereinstimmen.
Bin gespannt, ob es klappt!

Gruß
Pav

 

[ecmar]

Servus Pavion,

erstmal vielen vielen Dank für deine hilfe und die analyse der Video Datei.

Ich bin jetzt nach deinem Vorschlag vorgegangen und habe die EPG Einstellung geändert und deinen Link (xmltv) und die Senderliste verwändet bzw. die Sendername der importierte m3u Liste von meinem Sat Server entsprechend deiner Senderlistenamen geändert.
Anschließend den import gestartet und die EPG Daten werden angezeigt.



Für meinen Hausgebrauch habe ich mir 48 Sender zusammengestellt, allerdings werden nicht bei allen Sendern die EPG Daten angezeigt/geladen, obwohl diese in der Senderliste eingetragen sind.

Ist das bekannt ?

Was mich derzeit noch verwundert ist, dass die EPG Daten nicht direkt über den Stream geladen werden, bei meinen anderen Geräten (DigibitB1 und ElgatoApp auf dem iPad) werden diese ohne extra Einstellungen angezeigt.

Vielleicht noch ein Tipp oder Hinweis, falls du mal angesprochen wirst, beim Laden des xmltv Links wird die DS extrem ausgelastet (siehe Bild) und der Speicher bleibt über sehr Langezeit bei 82 % Auslastung, nur ein Neustarten der Anwendung normalisierte die Speicher Auslastung wieder. Vielleicht liegt es auch nur daran, dass ich eine DS213j einsetzt.



Vielen Dank nochmal Gruß

 

[Pavion]

Hallo Elmar,

ich würde Dir empfehlen, den Import automatisch zu machen (s. Einstellungen -> EPG), dann hast Du jeden Tag frische Daten.
Wenn die Namen passen, solltest Du auch alle besagten Sender kriegen. Vielleicht kommen sie ein paar Male später nach. Vielleicht liegt es aber auch daran, dass Du zu ungeduldig warst: der Vorgang ist in der Tat sehr CPU-lastig. Erst muss eine 5 MB-Datei geladen werden, danach wird sie zu 30 MB entpackt und diese 30 MB müssen komplett ausgelesen und in die Datenbank geschrieben werden. Gerade bei einfachen DS-Modellen kann es durchaus mehrere Minuten bei Volllast dauern: das ist kein Fehler, so ist es eben. Genau deswegen sollte automatischer Import benutzt werden, um diese Zeit irgendwann in die Nacht zu verlegen. Also kann ich empfehlen, Geduld zu üben und das Programm nicht abzuschießen. Mir ist kein Fall bekannt, dass es für immer hängen bleibt.

Ich kann leider wenig dazu sagen, wie die anderen Programme EPG-Daten lesen. Vielleicht übersehe ich etwas in dem Stream oder Deine Anlage legt die Daten bei sich ab und stellt sie über irgendeine andere Schnittstelle zur Verfügung. Die Anlagenhersteller stellen ihr Know-How nun mal nicht öffentlich zur Verfügung, damit es jeder kann. Wenn Du einen besseren Weg findest, an die Daten ranzukommen, bist Du herzlich willkommen.

Gruß
Pav

 

[ecmar]

Hallo Pavion,

um evtl. Fehler auf meiner Aktiven DS213j zuerkennen und zubeseitigen, habe ich die Anwendung tvstreamrecord nochmal auf meiner Backup DS213j installiert und habe dort alles entsprechend konfiguriert und die EPG Daten importiert. Der Import wurde mir im LOG als complete angezeigt daher gehe ich davon aus, dass im Hintergrund nichts mehr läuft. Habe auch die Anwendung bis jetzt nicht neu gestartet und die Auslastung des Speichers liegt immer noch bei 83/84 %.

Log:
2014-08-17 12:18:26 OUT tvstreamrecord v.0.6.4 / XMLTV import started
2014-08-17 12:18:32 OUT XMLTV: reading URL http://www.xmltvepg.nl/rytecxmltvskyde.gz
2014-08-17 12:21:28 OUT XMLTV import completed

In der Übersicht kann man erkennen, dass der Prozess phyton im Status schläft mit 380MB hängt oder wartet, vielleicht ist das ja auch richtig. Darauf wollte ich nur aufmerksam machen, vielleicht ist das wichtig für evtl Rückfragen anderer...




Die Sendernamen prüfe ich noch mal, bin aber der Ansicht, dass ich alles berücksichtigt habe _ - Leerzeile etc.
Beispiel beim Sender Disney Channel gleicher Name in der m3u Datei und in der Senderliste, aber trotzdem bekomme ich keine EPD Daten
angezeigt.

Gruß und ein schönes Rest Wocheende.....
Elmar

 

[Pavion]

Hallo Elmar,

damit die XMLTV-EPG-Daten angezeigt werden, muss der jeweilige Sender den gleichen Namen (inkl. Groß/Kleinschreibung) haben und eingeschaltet sein und zwar noch vor dem Import. Der Hintergrund: es werden nur die übereinstimmende aktive Sender importiert, damit sich die Datenbank nicht zu sehr aufbläht. Bemerkung: heute wird gegebenenfalls kein Import funktionieren, da die XMLTV-Datei beschädigt zu sein scheint. Das kommt bei dem (immerhin kostenlosen Anbieter) hin und wieder vor und ist meistens am nächsten Tag behoben. Wie dem auch sei, habe ich es ohne Probleme geschafft, Daten für 'Disney Channel' zu importieren. Bitte kontrolliere bei nächster Gelegenheit erneut, ob bei Dir alles entsprechend eingestellt war.

Jetzt zum Thema Performance: Auf meiner alten DS411 hat der Import ca. 6 Minuten gedauert, was an sich nichts ungewöhnliches ist. Ich konnte das von Dir beschriebene Problem jedoch nachvollziehen: auch bei mir geht die Speicherauslastung auf über 300MB und baut sich gar nicht ab. Eins ist zumindest gut: jeder weitere Import bringt keinen weiteren Zuwachs. Auf meinem Windows-Testsystem wird der Speicher sofort und automatisch freigegeben (auf max. 40MB), bei der DS muss ich wohl nach einer systemspezifischen Lösung suchen. Danke für Deinen Hinweis, ich melde mich, sobald ich den Leck gefunden und beseitigt habe.

Gruß
Pav

 

[Pavion]

Hallo Elmar,

wie versprochen, melde ich mich wieder. Den Grund für die Speicherauslastung, die Du beschrieben hast, konnte ich einkreisen. Das Problem ist wohl bei DS systemspezifisch und ließ sich nicht direkt beseitigen, daher habe ich meine XML-Importfunktionen komplett überarbeiten müssen. Als positive Nebenwirkung ist der Import jetzt mindestens doppelt so schnell. In der Zeit bleibt die CPU-Last zwar immer noch auf Anschlag, der maximale Speicherbedarf wurde jedoch deutlich verringert und baut sich nach der Beendigung auf ca. 20-30MB wieder zurück.
Bitte schaue in die nächste Nachricht im Forum rein

Gruß
Pav

 

[Pavion]

tvstreamrecord 0.6.4b

Hallo Leute,

meine aktuelle Version ist nun mittlerweile sehr weit von der letzten veröffentlichten Version entfernt, zeitlich wie programmiertechnisch. Die neue Version hat an sich keine optischen, dafür jedoch massive inhaltliche Veränderungen, u.A.:
- Unterstützung für Python 2.6.x, 2.7 und 3.x (alle Versionen, die auf DS zur Verfügung stehen),
- komplette Überarbeitung vom XMLTV-Import, um die Geschwindigkeit und Speichernutzung zu optimieren,
- viele Optimierungen an der Grab-Funktion,
- konsequentere Unicode-Unterstützung.

Wenn Ihr Zeit und Interesse habt, bitte ich Euch die aktuelle Version zu testen und ein paar Zeilen hier im Forum zu schreiben, damit ich sie mit ruhigem Gewissen veröffentlichen kann

Vielen Dank im Voraus!
MfG
Pav

 

[ecmar]

Servus Pavion,

habe jetzt deine neue Version getestet.
Und habe mich erst mal auf die Speicherauslastung und den EPG import konzentriert. Die Speicherauslastung bleibt jetzt bei
20% = ca. 35MB stabil. Auch wenn ich den Import mehrfach hintereinander startet, bleibt die Auslastung des Arbeitsspeichers stabil.



Ich Teste jetzt noch die Anwendung und gleichzeitig meine DS mit mehr Last, versuche heute auf allen 4 Möglichen Streams von meinem Sat-Server Aufnahmen zu starten.

Ansonst gefühlt scheint alles ein wenig schneller zu reagieren, kann aber auch nur gefühlt sein. Wie bereist schon erwähnt
sehr gutes Programm, auch der Support immer wieder top.... *****

Gruß
Elmar

 

[Rasiv]

Hi,

ich habe mich hier in diesem Forum eigens registriert, um DANKE zu sagen! Danke Pavion für dieses schier unglaubliche Produkt.
Ich verfolge diesen Tread hier bereits ein Weilchen und irgendwie sind mit deinem Tool alle meine Probleme erledigt worden. Ich kann nun endlich aus der Ferne per VPN Filme aufnehmen und später auf's iPad streamen oder für Unterwegs downloaden. Und das alles gratis. Vielen Dank.

Mit Spannung hab ich die neue Version installiert und muss Elmar zustimmen: gefühlt etwas flüssiger von der Bedienung.
Allerdings hatte ich das Problem, dass beim Import der Sender ein "internal Server Error 500" kam. Dummerweise hab ich die Fehlermeldung im Log nicht kopiert. Kann ich notfalls aber nochmal tun. Ich habe mich beholfen, indem ich die alte Version (ohne a oder b) installiert, die Sender importiert und anschließend geupdated hab. Problem trat übrigens sowohl mit Phyton 2x also auch mit v3 auf. Ggf. kannst du es ja nachstellen. Vll. hab ich auch etwas verkehrt gemacht.

Ansonsten fiel mir noch auf, dass ich beim EPG-Chart am Laptop draufklicken und eine Aufnahme programmieren kann. Dies funktioniert unter iOS mit verschiedensten Browsern nicht. Über die EPG-Suche funktioniert es aber tadellos.
EPG - gutes Stichwort: geniale Lösung, die du implementiert hast. Die Daten aus dem Stream auszulesen ist der Oberhammer. Dadurch entfallen die ganzen kostenpflichtigen Lösungen. Ich bin rundum glücklich.

Irgendwer hat mal vorgeschlagen eine App zu machen. Gerade auf dem iPhone wäre eine angepasste Darstellung von Vorteil und was meine Freundin betrifft deutlich Frauentauglicher aber ich komme zurecht, Rest ist optional.

Wenn ich noch irgendwie unterstützend tätig sein kann, lass es mich wissen.

Beste Grüße,
Ein begeisterter Nutzer