W przyrodzie nic nie ginie, nie ma domen bez linków

Zaprawdę Powiadam Wam

Często ludzie zastanawiają się w jaki sposób roboty odnajdują ich strony, pomimo tego, iż do ich domen nie prowadzą żadne linki. Żadne ? Czyżby ?

Swego czasu, gdy Polsat przeżywał swój okres świetności, emitowany był serial pod tutułem „Człowiek którego nie ma”. W jednym z odcinków główny bohater spotyka programistę, który usiłuje odnaleźć informacje na temat naszego bohatera, czyli kogoś kto został wymazany z życia. Cytat który utkwił mi w pamięci to „… nie można kogoś tak po prostu usunąć z życia, są przecież rachunki, przelewy, mandaty za złe parkowanie, nie jest możliwe wymazanie tych wszystkich informacji …”

Lub też inny cytat z równie dobrego i kultowego już filmu „Możesz nie ruszać się z domu a Twoje nazwisko obsługuje dziennie 8 komputerów … jesteśmy bezimienni stary, my jesteśmy bezimienni … ”

Podobnie jest z domenami po przypisaniu ich do nowych DNS-ów, otóż kiedy następuje delegacja nowej domeny, domena taka pojawia się w liście nowych delegacji u jednego z operatorów takich jak home.pl, lub netart.pl, w postaci linku bezpośredniego na witrynie top100.pl.

Krótko mówiąc „w przyrodzie nic nie ginie”, co niestety może również stanowić poważny problem w kwestii bezpieczeństwa serwisów uruchamianych na nowych domenach. Wystraczy sobie wyobrazić sytuację, kiedy robot indeksuje zawartość nowej domeny i jej niezabezpieczonego katalogu pomimo iż strona ma status „Under construction”, a programista właśnie testuje skrypty.

Inna sprawa to korzystanie z indeksu Google, przez inne wyszukiwarki internetowe. Temat na dłuższą polemikę, a jednak nie da się nie zauważyć tego, że bardzo często w logach naszego serwera pojawia się tylko jeden crawler, a za jakiś czas kilka wyszukiwarek posiada już naszą domenę i kopię strony (tzw. cache ) w wynikach. Nie od dziś wiadomo przecież, że Google korzysta z zawartości otwartego katalogu DMOZ w swoim Google Directory i bardzo często możemy trafić na opis strony pobierany z ODP DMOZ, dlaczego więc inne wyszukiwarki nie miałyby korzystać z zasobów Google ?

Mniejszy traffic na stronach, mniejsze obciążenie serwerów botami, przecież zawartość naszych stron jest tylko zbiorem słów, a wyszukiwarka jedynie decyduje jakie wyniki zwróci na pierwszym mijescu. Ekonomiczne więc wydaje się korzystanie z jednej globalnej bazy jaką jest Google i zwracanie przez wyszukiwarki różnych wyników, na jej podstawie. Przykładem może być produkcja kart graficznych w oparciu o układy GeForce, jeden układ, wielu producentów, inne zapotrzebowania i ceny. Wnioski nasuwają się same, musimy żyć w pełnej symbiozie z wyszukiwarkami, jesteśmy od siebie zależni. Google istnieje dzięki nam, my istniejemy dzięki Google. Jeśli brakuje witryn, wyszukiwarka nie zwraca żadnych wyników, jeśli brakuje wyszukiwarki nie można odnaleźć witryn. Kółko się zamyka.