Hur fungerar en söktjänst?

1. Inledning

Den här sidan berättar lite om hur en söktjänst fungerar. Den tar upp sådant som hr man skriver koden på sidan på bästa sätt och hur man inte skall skriva. Du får också läsa om hur man anmäler sin sida till en söktjänst.

De som skrivit till mig för att veta mer om hur söktjänsterna fungerar har gjort det för att de vill kunna marknadsföra sin egen hemsida på ett bättre sätt. Men för att inte texten skall bli för lång, har jag valt att dela upp den på flera sidor:

Läs därför gärna också Skaffa besökare till din hemsida och Marknadsför din webbutik. Jag har också en sida som heter Sök effektivare, som berättar mer om hur du söker på söktjänsterna.

På min sida med surftips har jag en sida som heter Sökning och söktjänster. Där hittar du länkar till många av de största söktjänsterna.

Två sidor som också kan vara intressanta och komplettera det jag skriver här är Lag & rätt och Lagstiftningen kring e-handeln.

2. Vad är en söktjänst?

Alla som har sökt på Google eller AltaVista, vet att söktjänster är ställen där man kan söka efter webbsidor och webbplatser.

Det finns tre huvudtyper av söktjänster, dels indexerade, dels ämnesindelade och dels metasöktjänster.

Indexerade söktjänster kallas ibland även "crawler-baserade" och använder sökrobotar eller sökspindlar för att hitta och kartlägga sidor.

Spindlarna är program som "kravlar omkring" och samlar in information om olika sidor, vilken sedan samlas i en databas. Sidorna katalogiseras efter vad de handlar om.

När man söker på ett visst ord får man upp en lång lista på alla de sidor som söktjänsten tycker passar.

Exempel på indexerade söktjänster är t.ex Google, vars startsida du ser på bilden.

Fördelarna med indexerade söktjänster är att de ofta lagrar fler sidor och att man kan hitta sidor med ovanliga kombinationer av sökord.

Nackdelen är givetvis att man också får upp många sidor som inte är relevanta. Sökspindlarna feltolkar nämligen ibland innehållet på sidorna. Jag berättar mer om dem i nästa avsnitt.

Det finns också många som försöker lura indexeringen och skriva in felaktiga nyckelord på sin hemsida. Man vill därigenom hamna på fler ställen i söktjänstens databas, trots att hemsidan inte handlar om det som sökordet anger.

Detta har varit en vanlig metod för oseriösa företag att marknadsföra sig på. Som du kunde läsa om på sidan om lagstiftningen kring e-handeln, finns det dock lagar som reglerar sådan användning, bl.a marknadsföringslagen.

I USA har även porrmotståndare, bl.a kristna grupper, skrivit in nyckelord som porrbesökare förväntas söka på, för att de skall få upp kristna, antiporr-sidor i stället. På det viset hoppas samfunden att porrbesökarna skall bli omvända.

Känner du dig osäker på vad nyckelord och META-information är kan du läsa mer om detta på sidan "Vad är HEAD-elementet bra för?". Gå dit >

Ämnesinriktade söktjänster är den andra typen och kallas även "directory-baserade" eller "kataloger". De är redan från början indelade i olika ämnen. De har också ofta utvalda och granskade sidor i databasen. Det betyder att man först väljer vilket ämne man vill leta under och sedan får upp färdiga förslag på bra sidor.

Oftast finns det en redaktion bakom ämnesindelningen och katalogiseringen, som granskar alla sidor som anmälts till sajten och kategoriserar dem.

Fördelarna med detta är att kvaliteten på sidorna i katalogen ofta är bra. En nackdel är att man inte alltid hittar lika många sidor.

Ytterligare en nackdel är att många ämnesinriktade söktjänster har sponsrade länkar, vilket betyder att företag har betalat för att hamna i katalogen.

Denna nackdel finns också i indexerade kataloger, men inte i lika hög grad.

Exempel på ämnesinriktade söktjänster är Yahoo och Lycos. Du ser Yahoos startsida på bilden.

Självklart finns det sedan också blandningar av dessa båda, t.ex AltaVista, som har både en indexerad del och en ämnesindelad.

Metasöktjänster är den tredje typen av söktjänster.

Denna typ hämtar sina söksvar från andra söktjänster. De söker alltså efter sidor i andra söktjänsters databaser.

Tanken är att man på ett ställe skall kunna söka i många olika kataloger samtidigt.

Exempel på metasöktjänster är WebCrawler och IxQuick. Du ser WebCrawlers startsida på bilden.

3. Indexering och katalogisering

Oavsett om en söktjänsts databas av information om hemsidor läggs upp automatiskt (indexering) eller manuellt (katalogisering), ställs båda ganska snart inför samma problem. På internet finns ju nämligen kopiösa mängder sidor och det finns idag ingen söktjänst som lagrar precis allt om alla dessa sidor.

Söktjänsterna tvingas alltså göra ett urval. Man lagrar kanske bara information om sidor som finns på egna domäner, men inte dem på gratis webbhotell. Det kan också vara så att man bara tar med sidor på de vanligaste domänerna eller vissa språk.

En annan begränsning kan vara att man bara indexerar sidor tre nivåer ner i mappstrukturen, dvs www.domän.se/nivå_1/nivå_2/nivå_3/nivå_4, osv. Ett annat sätt kan vara att man väljer bort vissa dokumenttyper, t.ex Excel-dokument eller bildfiler.

Ytterligare en begränsning, som framförallt ämnesinriktade söktjänster kan välja, är att bara ta med de sidor vars upphovsmän har betalat för att finnas med i katalogen.

Vissa söktjänster lagrar bara information om vissa nyckelord som finns med på sidan, men dessa behöver inte finnas i META-texten utan kan stå i princip var som helst på sidan. Andra lagrar även information om den övriga texten, t.ex för att man sedan skall kunna söka på längre ord och meningar.

Så gott som alla söktjänster använder en automatisk sökning efter och lagring av sådan information. Men medan de indexerade låter all lagring ske automatiskt, väljer de ämnesinriktade söktjänsterna manuellt ut vilka sidor som skall sökas igenom.

I båda fallen använder man särskilda program för att söka igenom och lagra uppgifter om hemsidorna. Jag har redan nämnt lite om dem. De brukar allmänt kallas för robot, bot, agent, crawler, sökspindel eller spindel. Dessa program söker inte bara upp och lagrar informationen, utan värderar också sidorna och rangordnar dem, utifrån söktjänstens uppställda principer.

Spindlarnas effektivitet är avgörande för söktjänstens kvalitet. Man vill ju i databasen ha så många riktiga sidor och så få "fusksidor" (med felaktiga nyckelord och annat) som möjligt. För att möjliggöra det håller söktjänsterna det hemligt vilka algoritmer och principer deras spindlar arbetar efter.

En sökspindel är ett av söktjänstens viktigaste verktyg. Det finns dels spindlar som letar igenom anmälda sajter, dels sådana som själva kryper runt på internet i jakt efter lämpliga sidor. Ibland skiljer man på dem och kallar dem för "spider" respektive "crawler".

De sidor som hittas måste sedan analyseras. Det kan ske i ett särskilt program eller görs direkt av sökspindeln. Indexeringen innebär att sidan värderas utifrån ett antal principer, t.ex sidans titel, huvudrubrik, META-element, vilka textsnuttar som är länkade eller har fet stil, osv.

Grundläggande för alla sökspindlar är att de gör en värdering (på engelska "page rank") av vilka ord som finns på sidan, var de finns och hur ofta de förekommer. Jag berättar om detta i avsnitt 4.

Sedan använder de också en rad andra verktyg, som länkanalys, alltså hur sidor förhåller sig till varandra på olika sajter. Länkanalys innebär framförallt att en sida värderas efter hur andra sajter värderar den. Man resonerar som så att om någon annan länkar till en sida så måste den vara värdefull. Genom att låta andra bedöma sidan gör man det dessutom svårare att fuska för den som har sidan.

Många söktjänster rankar också en sida högre om andra söktjänster har den i sin databas och rankar den högt. Värderingen ligger sedan till grund för hur sidan skall rankas vid sökning.

4. Optimering

Optimering kallas ibland "Search Engine Optimization" (SEO) och innebär att man gör i ordning sin sida så att den lättare hamnar högt upp på söktjänsternas ranking. Nedan följer en lista med sådant jag tycker man skall tänka på.

5. Felaktig användning av kod

Med "felaktig kod" avser jag sådant som du gör som strider mot sökmotorernas policy och mot den allmänna etiketten på internet. Vill du däremot veta mer om lagstiftningen bör du i stället läsa mina sidor Lag & rätt och Lagstiftningen kring e-handeln.

Vad händer då om man bryter mot en policy? Följer du inte de råd jag gav i förra avsnittet, bestraffas du antingen indirekt eller direkt. Indirekt bestraffning innebär att söktjänsten missar att du finns eller missar att se hur viktig sida du har. Direkt bestraffning uppstår om du brutit mot några regler och t.ex ses som en spammare. Då flyttas du längre ner på listan.

Om du har varit otydlig eller om du har gjort ett större fel på en sida, hamnar den förmodligen inte i databasen. Men här måste man skilja mellan enskilda sidor och hela sajten. Att en hel sajt stängs av är visserligen ovanligt, men det händer likaväl. Framförallt är det webbplatser som sköts av personer som försöker locka besökare genom att skriva in nyckelord på otillåtna sätt.

Observera dock att de flesta söktjänster inte lägger in alla sidor i sin katalog. Min webresurs innehåller närmare tusen sidor, men det är bara ett fåtal av dem som man får upp då man söker på mina nyckelord.

Det finns väldigt stora vinster att göra för dem som hamnar högt upp då man söker på ett visst sökord. Finns det då tusentals sidor som handlar om samma sak så måste man försöka göra allt man kan för att komma långt upp på listan. Då räcker det inte att följa de vanligaste principerna

Ett tag började många då skriva sina nyckelord flera gånger efter varandra. Det fungerade till dess att sökspindlarna ställdes in att ignorera detta. Vissa söktjänster valde till och med bort sådana sidor och tog inte alls med dem i sina kataloger.

Ett annat sätt att försöka lura spindlarna blev då att skriva in sökorden i texten och i rubrikerna, utan att orden egentligen hade där att göra. Numera är spindlarna inställda på att upptäcka sådant.

En variant av detta har även varit att skriva in nyckelord dolt i texten, med hjälp av <!¬före och --> efter texten. På det viset tolkas koden och orden läses in, men visas inte på skärmen. Men även detta knep är idag spindlarna uppmärksamma på och din sida riskerar att hamna utanför söktjänsten om du gör så.

Likadant är det med dem som skriver in nyckelord på sidan och försöker dölja dem genom att ge dem samma färg som bakgrunden, t.ex vit text mot vit botten. Sådana sidor klarar numera de flesta söktjänsterna att rensa bort ur sina databaser.

Men däremot klarar de inte alltid av att se om du använder en vit text mot svart botten i en tabell, där resten av sidan är vit. Trots att du har gjort helt rätt uppfattas sidan alltså som ett försök att lägga in nyckelord på ett otillåtet sätt.

Den här sortens problem innebär att söktjänsterna hellre fäller än friar och de kan göra det eftersom antalet sidor på nätet är så stort så att det inte gör något om en eller annan sida inte kommer med.

Fortfarande lär olika varianter av upprepning av nyckelord, s.k. keyword stuffing, vara den främsta anledningen till att en sida eller hel sajt inte kommer med i söktjänstens katalog. Det gäller såväl otillåten upprepning, nyckelord som inte har med sidans innehåll att göra, samt olika försök att lägga in dolda nyckelord.

Ett sätt som är svårare för spindlarna att upptäcka går under namnet doorwaysidor eller "gatewaysidor", som man ibland också kallar dem. Det innebär att ett eller flera nyckelord länkas till nya sidor, som bara handlar om detta. Spindlarna har tidigare gett länkade nyckelord höga poäng, men eftersom metoden har börjat utnyttjas av fuskare, är detta sätt numera inte lika effektivt.

Många spindlar luras nämligen att tro att den nya sidan bara handlar om det nyckelordet säger, men kan inte tolka texten och se om det verkligen förhåller sig så. Gissningsvis arbetar söktjänsterna på att komma runt detta problem och lösningen riskerar alltid att drabba oskyldiga.

Andra sätt som kan få hela din sajt att försvinna från söktjänsternas kataloger, är att ha flera domäner som pekar på samma sida. Detta gäller inte om man har ett par olika domäner, utan om man har satt det i system. Det kan dock finnas företag som handlar med domäner och har dussintals eller hundratals domänadresser och de kan alltså råka ut för att inte komma med.

Det kan också vara dumt att använda en splashsida. En sådan innebär att man använder sig av en första startsida, som lockar intresset och sedan leder in besökaren till den egentliga startsidan. Detta är en variant av doorway, som ibland även går under namnet bait and switch. Splashsidor används då som en slags reklam eller popup. Man utnyttjar ofta också refresh-kommandot så att besökaren kommer vidare utan att behöva göra något.

Splashsidor skapades ursprungligen som ett sätt att lägga in olika script för att ta reda på besökarens webbläsare, språk och liknande. På detta sätt hamnade besökaren sedan på en sida som var anpassad för hans eller hennes dator och behov. Men denna teknik har sedan alltså kommit att utnyttjas för att även lura sökspindlarna.

På en splashsida kan man nämligen lägga in sådan information som nyckelord, för att förstärka den egentliga startsidans ranking. Spindeln tror alltså att splashsidan är en riktig sida och att sajten har mer information än den egentligen har.

Självklart är andra användningar av refresh-kommandot tveksamma för den som vill hamna högt upp på rankingen. Den som alltså gör fyra eller fem exakta kopior av sin startsida och låter webbläsaren växla mellan dem, kommer förmodligen att diskvalificeras av sökspindlarna. Detta gäller även den som lägger in refresh-instruktionerna på servern, t.ex med PHP eller ASP. Sökspindlarna upptäcker numera även detta.

En annan variant som jag har sett är att man lägger upp en sida som är helt i sin ordning och som kommer högt upp i söktjänsternas ranking. Men när sidan väl ligger uppe ersätter man den med en annan (med samma filnamn). När man söker kommer alltså denna felaktiga sida upp i stället för den riktiga. Detta rättas ju till så småningom, men det räcker ju att detta tar ett par veckor för att fusket skall ha lyckats.

Sätter man ett sådant förfarande i system kan man dock räkna med att till slut få hela sin sajt bannlyst. Självklart får man byta ut sidor, men inte med syftet att luras och fuska. Har man väl en gång blivit diskvalificerad är det betydligt svårare att komma med igen.

Misstänker man att man tagits bort ur en söktjänsts databas kan man alltid skriva till dem och fråga varför. Vet man att man har gjort fel kan man då ta bort allt detta från sina sidor och skicka en ursäkt till söktjänsten och säga att man tagit bort och att det kom upp av okunskap snarare än illvilja.

Min erfarenhet av att försöka få svar från söktjänsterna är dock inte särskilt bra. Men det betyder ju inte att de inte läser de brev man skickade.

6. Registrering

Vilka söktjänster brukar du använda? Ett bra ställe är att börja där och först kontrollera om din sida finns med i söktjänstens databas. Finns den med och du anmäler den kan du förlora din plats, eftersom det då uppfattas som spamming.

På sidan "Sök effektivare" ger jag några tips på hur man kan söka efter sin sajt. Läs mer >

Om du inte finns med klickar du på länken där det står "Anmäl din sida", "Föreslå en sajt", "Submit URL" eller något liknande. Längst ner på sidan brukar man hitta den. Under länken får du oftast mer information om hur anmälan går till.

Olika söktjänster har olika regler och man bör därför läsa noggrant hur de vill att man skall anmäla sin sida, för att inte råka ut för att anmälan ignoreras. Vissa söktjänster vill t.ex att du skall anmäla hela din sajt på en gång, medan andra vill att du delar upp din anmälan i de olika ämnen på söktjänsten som dina sidor kan sorteras under.

Anmäl först och främst din sida själv och skippa alla de tjänster som gratis eller mot betalning lovar att registrera din sida. Dels ökar då kvaliteten på din anmälan och dels vet du också att anmälan blir gjord. Dessutom slipper du få en massa reklam, när du tackat ja och angett din e-post.

Tyvärr finns det många lycksökare och lurendrejare bland alla dem som vill hjälpa dig med marknadsföringen, inte minst eftersom det är så lätt att fuska och svårt att kontrollera att det utlovade jobbet blir utfört på ett korrekt sätt.

När du gjort din anmälan till en indexerad tjänst brukar sidan inte hamna i databasen förrän efter några dagar och ibland veckor. Min erfarenhet är att det numera tar längre tid än söktjänsterna utlovar. Dyker inte din sida upp bland sökalternativen kan det bero på att många andra sidor ligger rankad före din. Ser du den inte alls kan du ha gjort något fel vid anmälan.

Det finns böcker och sajter som ger tips om hur du skall marknadsföra din hemsida. Där läser man ofta att det kan löna sig att anmäla en ny sida på sin sajt varje dag till samma söktjänst. Men detta behöver inte vara ett bra sätt och man bör först noga läsa vad söktjänsten själv säger om dylika handlingar.

Fenomenet spamdexing är då man anmäler samma sajt flera gånger till en söktjänst för att få högre ranking. Detta är dock inte att rekommendera, eftersom det uppfattas som fusk och riskerar att placera dig ganska lågt eller till och med utanför söktjänstens katalog.

Ämnesinriktade söktjänster fungerar lite annorlunda än indexerade och dessa vill ofta att man går in under rätt ämne och anmäler sin sida där den passar bäst. Sedan granskas sidan av en eller flera personer. Tycker de inte att du gjort din anmälan på rätt ställe slänger man den i papperskorgen. Då hamnar du inte med i databasen.

Många sådana söktjänster får dessutom sådana mängder med anmälningar varje dag att man inte hinner med alla anmälningar och bara tar med de mest intressanta. Kommer man ändå med kan det ta flera veckor och ibland även månader, innan man finns med på listan.

Tänk också på att viktiga faktorer är dem jag räknade upp i förra avsnittet, som vilken domän, vilket språk och hur länge dina sidor funnits på nätet. Om du hamnar långt ner och inte vill betala för att få en bättre plats, kan du inte göra så mycket mer än att förbättra koden på sidan.

7. Länkar

På min sida med surftips har jag en sida som heter "Sökning och söktjänster". Där hittar du länkar till många av de största söktjänsterna. Gå dit >

Jag har letat på nätet efter bra sajter som kan ge ännu mer djuplodande kunskaper. Det är dock svårt att hitta några som ger gratis tips och råd, men här är ett par som jag tror passar för den extra vetgirige:

Search Engine Showdown: www.searchengineshowdown.com
SearchengineWatch : www.searchenginewatch.com
Spinecom: www.spinecom.info

Det finns också gott om företag som sysslar med analyser och marknadsföring. Dem har jag inte tagit med här. Inte heller listar jag de många program som sägs hjälpa till med registrering och optimering.