Indeksering

Slik får du sidene dine indeksert hos Google.

Indekserbarhet, relativt direkte oversatt til norsk fra ordet «indexability», handler om muligheten siden din har til å kunne bli indeksert av søkemotorer, som for eksempel Google. 

Det er helt elementært, men samtidig noe som er en utfordring for flere. Før søkemotoren i det hele tatt kan vurdere å rangere innholdet ditt, så må de vite at det eksisterer. Søkemotorene bruker i all hovedsak ‘crawling’ for å finne nytt innhold å indeksere. ‘Crawling’ går ut på at søkemotoren følger lenker fra en nettside de allerede kjenner til, til lenker de ikke kjenner fra før. Eksempelvis; Google kjenner allerede til en ekstern side som nå har begynt å lenke inn til nettsiden din. Neste gang Google ‘crawler’ den siden, følger de lenken til siden din, og oppdager da at siden din eksisterer, og legger den deretter til i sin indeks. Fra forsiden din følger de deretter lenkene dine nedover i din sidestruktur, og får indeksert de viktigste landingssidene dine.
 
Kun sider som faktisk er indekserbare har mulighet å dukke opp i resultatsidene til søkemotorene.
For å kunne indeksere en side, må søkemotorene ha mulighet til å finne siden, crawle siden og ikke minst forstå samt hente ut viktig informasjon fra siden. Kun når disse punktene er oppnådd kan søkemotoren vise siden på sin resultatside.
Dersom disse tre punktene ikke kan oppnås, vil heller ikke siden kunne indekseres på en god måte – og uten at siden blir indeksert, vil den heller ikke kunne gi deg noe trafikk fra organisk søk, siden den – mer eller mindre – vil være usynlig for søkemotorer

Hva er det som gjør nettsider "ikke-indekserbare"?

Det finnes faktisk en del eksempler på sider man ikke ønsker at skal indekseres, som for eksempel kategorisider, lavkvalitetssider og kvitteringssider – for å nevne noen. Men for de sidene man faktisk ønsker å ha indeksert, må man altså passe på at sidene er både indekserbare og «crawlbare». Følgende hindringer, som kan gjøre jobben med å ‘crawle’ en nettside vanskeligere for søkemotoren, bør man derfor være oppmerksom på;
 
  • «Noindex»-tagen: Du har mulighet å spesifikt be søkemotorene om å ikke indeksere en side ved å bruke enten «noindex»-taggen, eller ved å sette noindex i HTTP headeren («X-Robots-Tag: noindex»). Om man glemmer å fjerne denne taggen, vil siden altså ikke indekseres av søkemotorene. I tillegg vil, det å bruke denne taggen, være et problem også for sider som ikke har den, for eksempel ved at sidene som ikke har taggen kun har lenker fra sider som har taggen. 
  • «Nofollow»-lenker: lenker som inneholder «nofollow» vil ikke bli fulgt av søkemotoren, og siden det lenkes til risikerer derfor også å ikke bli indeksert. 
  • Robots.txt: Robots.txt er en fil som forteller roboter, inkludert da søkemotorene sine roboter, hvilke sider de har lov å besøke, og hvilke sider man ikke ønsker at de besøker. Dersom en landingsside er listet opp i robots.txt, vil den ikke bli crawlet.  
  • Dårlig optimalisert internlenking: som nevnt, så bruker søkemotorene interne lenker som utgangspunkt for å crawle ‘videre’ til andre sider. Nettsteder som ikke inneholder interne lenker risikerer derfor å ikke bli crawlet. I tillegg har det betydning hvilken type internlenke man bruker, hvor internlenken befinner seg i strukturen og hvilke assosiasjoner man knytter til lenkene (eksempelvis bildelenke vs. tekstlenke, alternativ-tekst i bilde vs ankertekst i lenken, og lignende). 
 
Det å holde oversikten over alle sider man har brukt «noindex»-tagen på kan være vanskelig, spesielt siden man ofte benytter seg av denne i forbindelse med produksjon av en landingsside, og deretter glemmer å fjerne taggen.
I Fyr får du opp anbefalinger knyttet til alle sider med «noindex»-tagen, som enkelt lar deg dobbeltsjekke at det faktisk er meningen å ekskludere siden fra indeksering hos Google. 

Bevar søkintensjonen

Søkemotorene vil til enhver tid forsøke å tilpasse resultatene sine til søkintensjonen som brukeren har. På grunn av dette er man ikke garantert at meta beskrivelsen som man selv har produsert, er den teksten som søkemotoren velger å vise på resultatsiden. For å øke sannsynlighet for å få vist den meta beskrivelsen man selv har produsert, er det viktig å svare på søkintensjoen – bl.a. ved å fokusere på de viktigste og mest riktige søketermene, i meta beskrivelsen. Det å ha en god søkeordsanalyse i bunn, er derfor viktig også for meta beskrivelsen. Akkurat som med sidetittelen, bør ikke meta beskrivelsen bare bestå av en oppramsing av viktige søkeord, men være et setning – eller to – med naturlig flyt. 

Slik får du siden din raskere indeksert hos Google

Følgende tiltak du kan gjennomføre for å både få siden din indeksert, og samtidig få den indeksert raskere hos Google:

  1. Inkluder interne lenker fra eksisterende sider til den nye siden din.
    For å crawle nettsider, og for å ta seg fra side A til side B, bruker Google og andre crawlere lenker.
    Ved å lenke til siden man ønsker skal indekseres, helst fra en allerede kjent og prominent side – eksempelvis en overordnet kategoriside, vil man hjelpe søkemotorene effektivisere crawlingen og samtidig gi et signal om at det her finnes en side som bør indekseres – men husk da at lenkene ikke kan være av typen «Nofollow»
    Sider som eksisterer helt uten lenker til seg, kalles på engelsk for «Orphan pages», og dersom man publiserer nye slike sider er det mye vanskeligere å få disse indeksert.

  2. Send siden til indeksering via Google Search Console.
    Google Search Console (GSC) er et gratis verktøy fra Google, som gir deg verdifull innsikt i nettsiden din, hvordan nettsiden din presterer organisk, og viser deg bl.a. hvilke søketermer du har vært synlig på samt fått besøkende fra. I dette verktøyet kan man også be om å få spesifikke URLer indekser, eventuelt re-indeksert om man nylig har oppdatert en side. Dette gjør man via en funksjonalitet i GSC som heter ‘URL Inspection Tool’. Dette er en spesifikk funksjonalitet for nettside-diagnostikk, som i tillegg til å la deg sende inn nye URLer til indeksering, lar deg teste og se hvordan Google har valgt å indeksere innholdet ditt. Det finnes en egen knapp – «Request Indexing» – i denne funksjonaliteten man kan trykke på for å be Google om å indeksere siden sin.
    Dersom det ikke er noen hindringer på siden din, vil den legges til en indekseringskø. Dersom det er problemer, vil du få vite hva problemet er, for deretter ha mulighet å rette opp i det.
    Merk at du kun kan sende inn et begrenset antall sider til indeksering per dag.

  3. Send et XML sitemap til Google.
    En annen effektiv måte å få innholdet sitt indeksert på er å benytte seg av sitemap, og gi Google beskjed – via GSC – hvordan dette sitemapet ser ut. Enkelt forklart, så er et XML sitemap en hierarkisk liste over alle sider på nettsiden din, og det brukes primært for å fortelle Google hvilke URLer som finnes på hele nettsiden og hvilke sider man ønsker skal indekseres.
    Før du sender inn et sitemap, så er det viktig at du sjekker at innholdet i sitemapet passer overens med hvordan nettsiden din faktisk er bygd opp og at du fikser eventuelle feil – som for eksempel; «orphan pages», døde lenker og lignende.