Indhold
Internet-søgere som Google, Yahoo og Bing finder oplysninger ved hjælp af links og sitemaps til andre hjemmesider. Disse søgemaskiner kan finde nogle af de mest uklare oplysninger og inkludere dem i dit indeks, og denne type søgeteknologi har fordele og ulemper for brugerne.
Interne netværkssider
Interne netværkssider er sider på websteder, der kræver mange klik, som brugeren skal se. Disse sider kan være produkter, indhold eller en søgedatabase, som søgemaskiner normalt ikke kan spore. Fordelen ved denne type teknologi, som forhindrer søgemaskinens gennemsøgning, er, at webstedsejere kan have produkter, køb, information og andre vigtige links, der indgår i et søgemaskineindeks. Dette giver mere synlighed på internettet til webstedets ejer.
Personlige oplysninger
En ulempe ved en søgemaskine, der crawls, er at have personlige oplysninger, der indekseres uanset privatlivets fred. Oplysninger såsom sikkerhedsnumre, finansielle data eller geografiske placeringer kan indekseres, selvom det er blevet offentliggjort på en personlig hjemmeside. Søgere gav brugerne mulighed for at blokere nogle indeksoplysninger ved at bruge en fil kaldet "robots.txt". Søgemaskiner som f.eks. Google tillader brugere at fjerne webadresser, efter at ejeren har fjernet offensive oplysninger, som er slettet fra indekset.
automatisering
Webstedsejere kan få deres sider indekseret ved at efterlade nogle links på en anden hjemmeside eller endda på deres eget websted. Denne praksis kaldes "backlinking." En hjemmeside, der benytter denne funktion, spores automatisk af søgemaskinerne, hvem der derefter kan kortlægge og indeksere et websted. Dette letter situationen for webstedsejere, da de ikke behøver at indsende et domænenavn til søgemaskinerne. Indeksautomatisering gør det nemmere for internetlæsere at søge.
