Blog-Indexierung unterbinden

[qbic]

Hi Leute

Bin neu hier, hab auch erst vor ein Paar Tagen mein Homeserver bekommen und nun eigentlich soweit eingerichtet.

Nun zu meiner Frage.
Wenn ich mein Blog von der Indexierung durch google und co entfernen möchte, wie mach ich das?
Ich hab schon im Ordner web eine robots.txt reingehauen um die Indexierung der webinhalte zu entfernen, nur gilt das nun gleichzeitig auch für den Blog?

Der Ordner Blog wird schließlich nicht im Netzlaufwerk angezeigt.

Ich will den Blog nicht public machen, es gibt nur ein kleinen Kreis dem ich den Blog zugänglich machen will, Indexierung ist also unerwünscht.

Muss ich jetzt noch eine robots.txt via Telnet/SSH manuell auf die DS stellen oder reicht das so aus?

Danke schonmal
Steffen

 

[itari]

@qbic,

wenn du für den Blog noch eine robots.txt platzieren willst, das Verzeichnis ist: /usr/syno/synoman/phpsrc/blog.

Die Anzeige über das Netzwerklaufwerk hat mit dem Blog nichts zu tun. Zur Erläuterung: es gibt verschiedenen Server, die auf der DS laufen: Web-Server, Datenbank-Server, FTP-Server, SMB-Server (das ist der, der die Netzlaufwerke anzeigt), Telnet-Server usw. Und viele dieser Server haben nichts miteinander zu tun. Heißt, wenn du irgendwas einstellst für den einen von der Servern, bekommen die anderen das nicht unbedingt mit.

Noch eine Bemerkung zu den Suchmaschinen. Die Datei 'robot.txt' hält die Suchmaschine nicht von Durchsuchen ab oder sperrt sie aus. Dazu müsste man dem Web-Server per .htaccess mitteilen, dass bestimmte Client-IP-Adressen zugelassen bzw. nicht zugelassen werden (*guck*). Es ist eher so, dass einige Suchmaschinen sich eine freiwillige Selbstkontrolle auferlegt haben, die Datei robots.txt (oder andere Einstellungen auf der HTML-Seite) auszuwerten und sich freundlicherweise daran zu halten. Es kann aber trotzdem sein, dass über Links deiner Freunde, deine Web-Seite ins Vesier der Suchmaschinen gerät, auch wenn die Suchmaschine gar nicht bei dir selbst sucht.

itari

 

[qbic]

Nun ja danke erstmal für die Antwort.

Kurz gesagt werde ich es also nicht schaffen, die Seite nur bestimmten leuten zur Verfügung zu stellen.

Mal ganz davon abgesehen wissen meine Freunde, dass sie mich nirgends verlinken sollen und ich hoffe das sie das auch einhalten.

Nur wie schaffe ich es denn dann?
ich kann mir ja schlecht jedes mal die IP von den Kollegen geben lassen, nur damit sie auf mein Blog drauf kommen

PS: Das mit den verschiedenen Servern hab ich schon vorher gewusst und begriffen, sonst wär ich ja auch nicht drauf gekommen eine Telnetverbindung zu öffnen um die Datei zu platzieren ;-)
Es sollte nur eine Art Anmerkung sein

 

[_TokTok_]

Nun ja danke erstmal für die Antwort.

Kurz gesagt werde ich es also nicht schaffen, die Seite nur bestimmten leuten zur Verfügung zu stellen.

Mal ganz davon abgesehen wissen meine Freunde, dass sie mich nirgends verlinken sollen und ich hoffe das sie das auch einhalten.

Nur wie schaffe ich es denn dann?
ich kann mir ja schlecht jedes mal die IP von den Kollegen geben lassen, nur damit sie auf mein Blog drauf kommen

PS: Das mit den verschiedenen Servern hab ich schon vorher gewusst und begriffen, sonst wär ich ja auch nicht drauf gekommen eine Telnetverbindung zu öffnen um die Datei zu platzieren ;-)
Es sollte nur eine Art Anmerkung sein

Du könntest eine .htaccess verwenden, die so konfiguriert ist, dass man sich anmelden muss (Benutzername und Passwort). Dann können nur diejenigen auf die Seite denen Du die Zugangsdaten gegeben hast. Damit umgehst Du auch das Problem mit der Weitergabe von Links. Wenn ich mich nicht irre sperrst Du damit auch Suchmaschinen aus.

Anleitung auf der Synology Homepage:
http://www.synology.com/enu/support/help-page.php?q_id=347

Einen Passwortgenerator für .htaccess gibt es z.B. hier:
http://www.fueralles.de/htaccess-Generator.html

Du musst halt für jeden Besucher ein Passwort generieren, oder Du eröffnest ein "Gast-Konto"

EDIT: Auf der Synology Seite wird das ganze mit Linux-Kommandos beschrieben, die brauchst Du mit dem Passwortgenerator nicht.
Einfach dafür sorgen, dass die entsprechenden Dateien mit dem beschriebenen Inhalt in den richtigen Verzeichnissen sind. Die kryptischen Passwörter kriegst Du per Passwortgenerator

 

[itari]

Kurz gesagt werde ich es also nicht schaffen, die Seite nur bestimmten leuten zur Verfügung zu stellen.

Ich wollte dich nun nicht frustrieren. Ich wollte eher das Gegenteil: Ein wenig Aufklärung in Sachen Suchmaschinen und den wirklich funktionierenden Blockungsmechanismus aufzeigen. Der mod_rewrite ist zugestandener Weise nicht gerade einfach, aber der kann noch mehr (eigentlich fast alles) und ich kenne auch nur ein Bruchteil davon. Es geht nicht nur über IP-Adressen zu blocken (white-list, black-list); es gibt noch viel mehr. Stichworte sind Cookies, HTTP_USER_AGENT, REMOTE_HOST oder REMOTE_ADDR der Google-Crawler, REQUEST_URI oder REQUEST_FILENAME (= robots.txt) usw. Vielleicht kannst du dich ja reinarbeiten und eine Lösung austüfteln und uns dann zur Verfügung stellen.

Schau mal hier die Links hier an:

http://httpd.apache.org/docs/1.3/mod/mod_rewrite.html
http://de.selfhtml.org/servercgi/server/rewrite.htm
http://www.modrewrite.de/

Vielleicht brauchst du ein paar Tage oder Wochen. Aber wenn du es hin bekommst, dann bist ein gefragte Typ, das kann ich dir versprechen

Man kann aber auch den Zugang mit einem Kennwort schützen. Ist auch irgendwo in den FAQ von Synology beschrieben, wie das geht. [Nachtrag: _TokTok_ war natürlich schneller ]

Du bist motiviert? Dann ran an die Arbeit

itari

 

[qbic]

Du bist motiviert? Dann ran an die Arbeit

Ich werd es erstmal mit der Methode von TokTok versuchen, nur stoße ich da schon jetzt wieder auf ein problem.

Auf der Seite von Synology wird beschrieben:

Use a Linux machine to create an Apache password file named "admin.pw" using the command "htpasswd" and add a new user "admin" in it.

Das Problem liegt erstens darin, das der Befehl htpasswd bei mir nicht vorhanden ist "/bash: htpasswd: not found"

Hab erstmal probiert die datei mittels vi zu kreieren nur hat es mir nicht viel genützt.

Habe also bisher die .htaccess und die admin.pw, da ich mir dachte, das es mir reichen würde wenn ich nur den admin-account habe.

Leider wird bis dato immer noch die Blogseite aufgerufen.

Vielleicht wisst ihr was ich falsch mache, oder was mir fehlt.

Bin aber gewillt mich reinzuarbeiten,Ferien sind ja schließlich lang genug, nur ne Grundlage brauche auch ich ;-)

 

[itari]

Ein Möglichkeit an das fehlende Tool htpasswd zu kommen, ist die temporäre Installation eine weiteren Apache-Web-Servers (ipkg install apache). Dabei wird das Tool installiert. Du kannst es dann irgendwo hin kopieren und den Apache wieder deinstallieren (ipkg remove apache). Sofern du das ipkg noch nicht bei dir installiert hast ... gibt Anleitungen dazu. Schau mal ins deutsche Synology Wiki http://www.synology-wiki.de.

itari

 

[ag_bg]

also in die admin.pw mußt du einfach adminEINPASSWORTCODE (Code generiert über die o.g. Seite)reinschreiben und die Datei irgendwo auf der DS speichern.
Jetzt mußt du die Datie .htaccess auf den lokalen Pfad der admin.pw anpassen und in das Verzeichnis legen, welches als oberstes quasi den Eingang darstellen soll. Wenn du nun auf diesen Ordner zugreifen willst, sollte die Passwortabfrage kommen.

best regards

 

[qbic]

Soweit so gut, wenn allerdings in der admin.pw nichts anderes steht als adminassword, dann kann ich dies ja auch schreiben mittels vi.
Somit kann ich mir selber ein Passwort aussuchen.

Das müsste doch funktionieren oder irre ich mich?

 

[ag_bg]

negativ, da du dieses eben in diesen Code dort reinschreiben mußt.
hier habe ich nochmal einen Screenshot

Pas Passwort war hier z.B. "test"

 

[_TokTok_]

Das Passwort generierst Du Dir mit dem Passwortgenerator. Die Linux-Befehle brauchst Du nicht!
Leg einfach die Dateien mit einem Texteditor an und kopier die generierten Passwörter rein. Dann die Dateien in die entsprechenden Verzeichnisse verschieben. Oder umgekehrt ;-)

 

[qbic]

Ok ich glaube jetzt hab ich verstanden.
Und siehe da es funktioniert auch.

Ich danke euch für eure Hilfe.
Mir wurde irgendwie zwischendrin nicht klar warum ich da so ein wirrwar aus codezeichen reinschreiben sollte, hätte ich mir schließlich nicht merken können.

Dann kam die Erleuchtung, das es sich um das gewünschte Passwort handelt, welches nur codiert wurde.

Naja da hatte ich mal wieder einen hänger und wollte scheinbar einfach nicht von der Leitung runter auf der ich stand

Also danke für eure Hilfe.

PS ITARI:
Ich werd es mir trotzdem mal noch anschauen, was es mit dem gesamten htaccess und co auf sich hat.
Schaden kann es sicherlich nicht wie man sicherlich an diesem Beispiel gemerkt hat

 

[_TokTok_]

Super, dass es geklappt hat! Welchen Passwort-Generator hast Du verwendet? Ich hab nämlich festgestellt, dass die komplett unterschiedliche Passwörter generieren (vor allem was die Länge betrifft). Die beiden hab ich als Vergleich herangezogen:
http://www.fueralles.de/htaccess-Generator.html
http://www.kreiter.info/familie/php/htpasswort_generator/htaccess-passwort.php
Hast Du damit den Blog auch absichern können?

Ich hab jetzt nochmal ne Schritt-für-Schritt-Anleitung für das Sichern des web-Folders in Anlehnung an die Beschreibung von Synology geschrieben:

1.) Ordner passwd im Ordner \web anlegen

2.) Eine Datei mit dem Namen .htaccess (Punkt beachten) im Ordner \web\passwd mit folgendem Inhalt erstellen:

AuthName "Title"
AuthType "Basic"
AuthUserFile "/volume1/web/passwd/admin.pw"
require valid-user

3.) .htaccess-Generator bemühen: http://www.kreiter.info/familie/php/htpasswort_generator/htaccess-passwort.php

Als Benutzernamen admin eintragen, Passwort aussuchen, Passwort erzeugen lassen.

4.) Datei admin.pw im Ordner \web\passwd mit folgendem Inhalt erstellen:

admin:ERZEUGTESPASSWORT

5.) .htaccess-Generator bemühen und für jeden User ein Passwort erzeugen lassen
Datei normal.pw im Ordner \web\passwd mit folgendem Inhalt erstellen:

user1:ERZEUGTESPASSWORT1
user2:ERZEUGTESPASSWORT2

FÜr jeden User eine Zeile!

6.) Datei .htaccess mit folgendem Inhalt in Ordner \web erstellen:

AuthName "Title"
AuthType "Basic"
AuthUserFile "/volume1/web/passwd/normal.pw"
require valid-user

Fertig, damit sind alle Ordner unterhalb von \web geschützt, nur die in der normal.pw eingetragenen User können darauf zugreifen. Damit die .htaccess im Ordner \web\passwd nicht von usern manipuliert wird, gibts die admin.pw

Falls sich Fehler eingeschlichen haben, bitte berichten!

 

[qbic]

Super, dass es geklappt hat! Welchen Passwort-Generator hast Du verwendet? Ich hab nämlich festgestellt, dass die komplett unterschiedliche Passwörter generieren (vor allem was die Länge betrifft). Die beiden hab ich als Vergleich herangezogen:
http://www.fueralles.de/htaccess-Generator.html
http://www.kreiter.info/familie/php/htpasswort_generator/htaccess-passwort.php
Hast Du damit den Blog auch absichern können?

Ich hab den von fueralles benutzt, hab aber auch grad gesehen, das der von kreiter einen durchaus arg komplexeren Schlüssel generiert.
Ich denke ich werde mir nochmal einen von Kreiter generieren lassen.

Zu deinem HowTo

Ersetz doch einfach den Ordner web mit einem Beliebigen Ordner der geschützt werden soll, dann entstehen keine Verwirrungen

 

[itari]

Ich hab nämlich festgestellt, dass die komplett unterschiedliche Passwörter generieren (vor allem was die Länge betrifft).

Das Programm htpasswd kann unterschiedliche Passwort-Verschlüsselungsalgorithmen benutzen, daher kommt Unterschiedliches heraus und in der .pw-Datei dürfen die auch gemischt verwendet werden. Es wird in der Regel auf Linux crypt verwendet und auf Windows-Systemen MD5.

Der Beitrag ist sehr schön - ich würde ihn gerne im Wiki lesen wollen

itari

 

[_TokTok_]

Das Programm htpasswd kann unterschiedliche Passwort-Verschlüsselungsalgorithmen benutzen, daher kommt Unterschiedliches heraus und in der .pw-Datei dürfen die auch gemischt verwendet werden. Es wird in der Regel auf Linux crypt verwendet und auf Windows-Systemen MD5.

Der Beitrag ist sehr schön - ich würde ihn gerne im Wiki lesen wollen

itari

Ok, dann hätten wir diese Verwirrung zumindest mal aufgelöst.
In Deiner Funktion als Moderator kannst Du den Beitrag doch bestimmt ins wiki verfrachten, oder? Ich bin immer dafür, wenn Anleitungen/Beiträge ins wiki kommen, wir sollten das auf jeden Fall forcieren!

 

[itari]

In Deiner Funktion als Moderator kannst Du den Beitrag doch bestimmt ins wiki verfrachten, oder?

Ich hab keine Ahnung wie das Wiki funktioniert; bin also denkbar schlecht geeignet für das 'Verfrachten'. Vielleicht kann du es selbst mal probieren.

itari

 

[_TokTok_]

Ich hab keine Ahnung wie das Wiki funktioniert; bin also denkbar schlecht geeignet für das 'Verfrachten'. Vielleicht kann du es selbst mal probieren.

itari

Ok, das wusste ich nicht. Hab mich gerade beim wiki angemeldet. Aber wie erstell ich nen neuen Beitrag? Ich hab nur die Möglichkeit bereits bestehende Beiträge zu ändern. Oder ich seh den Wald vor lauter Bäumen nicht.....
Vll. kann da mal jemand Licht ins Dunkel bringen, sonst wird das mit dem wiki nie was!
Es gibt ja eine extra Abteilung hier im Forum für das Posten im wiki. Da steht nur nix drin ;-)

 

[.:@rpy:.]

Tja...das ist ja auch Sinn der Sache.Einfachso ne Seite erstellen,... das geht so nicht.

Das is ne WIKI.Die WÄCHST.

Das soll heissen, das du erstmal auf etwas Verlinken musst, was es nicht gibt.Und das ist dein Dokument...du kannst ja nicht eine Frage beantworten, ehe sie gestellt ist.
Also bearbeitest du zb. erstmal das Inhaltsverzeichnis...mit einem Thema, einem Index, verlinkst irgendein Wort mit einem Wikilink...und wenn du dann das Wort, was du erstellt hast/verlinkt hast, ROT dargestellt wird,...eben weil auf diese Verlinkung noch kein Dokument verweisst...dann erst gehts weiter.

Klick drauf.Bearbeite den Artikel, und dein Wort wird Blau...und du hast die Wiki wieder ein Stück weitergebracht.

 

[_TokTok_]

Tja...das ist ja auch Sinn der Sache.Einfachso ne Seite erstellen,... das geht so nicht.

Ich finde das wär genau der Sinn der Sache.....Aber lassen wir das. So ein großer Unterschied is das ja auch nich.
Hab sowas noch nie gemacht, aber jetzt weiß ich ja wie´s geht, danke.

Der neue Eintrag ist erstellt, Ihr seid frei dran rumzuändern.

Vielleicht mal ne generelle Sache: Das wiki bleibt im Moment weit hinter seinen Möglichkeiten zurück. Da sind noch ne Menge roter Einträge. Natürlich is es nich ganz einfach, aber wenn wir das knowhow aus dem Forum sukzessive ins wiki bringen, können wir alle davon profitieren.
Ich denke zwei Dinge sind dabei ganz wichtig:
1.) Diejenigen die Anleitungen ins Forum stellen, sollten zumindest mal drüber nachdenken das auch ins wiki zu verfrachten. Da is einfach die Übersicht besser!
2.) Es sollte möglich sein wiki-Einträge mit Anleitungen anderer Forenmitglieder verfassen zu können. Natürlich mit Hinweis auf den Urheber.

Im Grunde können wir alle von einem wiki profitieren!
Wie steht Ihr dazu?