Sigge har ritat lax och honung på whiteboarden, så nära att prickarna nuddar. En björns två stora kärlekar måste ju bo bredvid varandra. Musse har mätt det och säger bara att laxen inte vet att den är en fisk.
Ruta tre på whiteboarden är embeddings. Förra gången blev texten bitar med nummer. Men ett nummer är bara en plats i en lista, så hur kan det veta vad en lax är? Det vet det inte. Numret pekar ut en rad tal som skrevs under träningen, och de talen är en plats i en rymd med tusentals riktningar. Den får inte plats på whiteboarden. Den får knappt plats i Sigges igelkott. Ord som brukar stå i samma sällskap hamnar nära varandra, och nära betyder att de pekar åt samma håll.
Sigge kallar det ide-bäddning: varje ord har ett vinteride. Musse ger honom en femma på Hmmmm-metern. Han har nämligen rätt av fel skäl.
Sedan Björnen i koden: grannar. En gratis modell på datorn, utan konto och nyckel, svarar var orden bor. Vilka ord ligger närmast lax? Ligger honungen nära laxen? Och vad händer när laxen får en älv att simma i? Dessutom: varför Sigges mod i Claude Code inte förstår vad "allt" betyder, varför sökverktyget letar efter mönster och inte efter betydelse, och vad filmjölk, grottans regelfil och ett körfält har gemensamt.
I avsnittet: varför ett token-nummer inte betyder något. Tabellen som lärs in under träningen. 1 024 tal per ord. Att känna ett ord på sällskapet det håller. Närhet som riktning. Ord med två betydelser. Sökverktyget i Claude Code. Varför Anthropic inte erbjuder någon egen embeddingmodell. Grannar, att köra själv.
Björnen i koden: ett litet Python-skript som mäter vilka ord som ligger nära varandra, med en gratis lokal modell. Finns i klartext på hooklinecoder.se.
","author_name":"Anders Bjarby"}