הבוט של לובי

מה הוא קורא

פידי RSS של אתרי חדשות ושל חברות משחקים, פעם בשעתיים. עמוד של כתבה, רק כשהעורך בוחר לכתוב על הידיעה או כשהעורך האנושי שולח את הקישור: בקשה אחת לכתבה, בלי לסרוק את האתר. תמונות רשמיות מאתרי החברות, ששומרים אצלנו בגודל מוקטן עם קרדיט.

robots.txt

לפני כל עמוד הבוט קורא את robots.txt של האתר, לפי השם LobbyNewsBot או *. עמוד שחסום שם לא נקרא, ו-Crawl-delay נשמר בין שני עמודים מאותו אתר (עד 30 שניות).

מאיפה הוא פונה

מהשרת שלנו, מהכתובת 204.168.211.245 (IPv4), ורק משם. הרשימה לבדיקה אוטומטית: bot-ips.json. כשהשרת שלנו לא זמין, ריצה עוברת זמנית לשרתים של GitHub ופונה מהכתובות שלהם, עם אותו שם.

מה נעשה עם מה שנקרא

כתבה מקורית בעברית שמייחסת כל פרט למקור, בשמו, עם קישור אליו. אנחנו לא מעתיקים כתבות ולא מפרסמים אותן מחדש.

פנייה

רוצים שהבוט יקרא פחות, יותר, או לא בכלל? כתבו ל-[email protected], או חסמו את LobbyNewsBot ב-robots.txt.

In English

LobbyNewsBot reads gaming news for לובי (Lobby), a Hebrew gaming magazine. It reads RSS feeds of news sites and game companies every two hours, and an article page only when our editor picks the story or our human editor sends its link: one request per story, never a crawl. It downloads official images from game companies' sites, kept small and credited.

Before any page it reads the site's robots.txt for LobbyNewsBot or *: a disallowed page is not fetched, and Crawl-delay is kept between two pages of one site (capped at 30 seconds). What it reads becomes an original Hebrew story that attributes every detail to its source, by name and with a link; we never republish articles.

It connects from our server, at 204.168.211.245 (IPv4), and only from there. Machine-readable: bot-ips.json. When our server is down, a run moves to GitHub's servers for a while and connects from their addresses, under the same name.

To have it read less, more or nothing, write to [email protected], or disallow LobbyNewsBot in robots.txt.