Über den Sammler
Diese Seite ruft fremde Seiten mit einem eigenen Namen ab und hält sich an deren robots.txt.
Wer das ist
inmycity ist eine private Veranstaltungsübersicht für Berlin. Der Sammler holt öffentliche Programmdaten, damit sie an einer Stelle nach Tagen sortiert stehen, und verlinkt jede Veranstaltung zurück an ihre Quelle. Nichts davon wird weiterverkauft, und es wird kein Sprachmodell damit trainiert.
Kennung
inmycityBot/0.1 (+https://inmycity.app/wien/bot)
Diese Zeichenkette steht in jeder Anfrage und zeigt auf diese Seite.
Was abgerufen wird
Sitemaps, Feeds und die öffentlichen Detailseiten von Veranstaltungen, und dort ausschließlich die strukturierten Daten: Titel, Zeit, Ort, Preis, Kategorie und der Link zurück.
Nicht abgerufen wird alles hinter einer Anmeldung, jedes Formular, jede Suche und jede Seite, die eine robots.txt ausschließt. Es läuft kein Browser mit, es wird nichts angeklickt und nichts ausgefüllt.
Wie oft
Ein voller Durchgang um 03:15 Uhr, dazu je Quelle ein eigener Takt, der auf der Seite Quellen steht. Ein Fehlschlag wartet auf den nächsten Durchgang und wird nie sofort wiederholt.
Die robots.txt jeder Quelle wird höchstens alle 24 Stunden neu gelesen. Verbietet sie den Pfad, hört der Sammler bei dieser Quelle sofort auf, und das Fortsetzen ist Handarbeit.
Wie schnell
Eine Anfrage nach der anderen, mindestens eine Sekunde Abstand, kein Browser.
Mindestens 1.0 Sekunden zwischen zwei Anfragen an dieselbe Seite, immer nur eine Anfrage gleichzeitig, und eine feste Obergrenze je Durchgang.
Wie du den Sammler aussperrst
Zwei Zeilen in deiner robots.txt genügen, und sie werden spätestens am nächsten Tag befolgt:
User-agent: inmycityBot
Disallow: /Kontakt
Wenn etwas stört, falsch abgerufen wird oder verschwinden soll: die Kontaktadresse steht im Impressum, das in der Fußzeile jeder Seite verlinkt ist. Eine Bitte, eine Quelle zu entfernen, wird befolgt und nicht diskutiert.