Forskare på Google DeepMind har introducerat Gecko, en kompakt och mångsidig inbäddningsmodell som är drivs av kunskapen från stora språkmodeller (LLMs). Gecko skiljer sig från traditionella modeller genom att använda distillering av kunskap från stora språkmodeller för att initiera inlärningsprocessen . Denna modell uppnår stark återfinningsprestanda genom att dra nytta av en tvåstegsdistillationsprocess som börjar med att generera mångsidiga, syntetiska parvisa data med hjälp av en stor språkmodell.
Gecko är utrustad med den stora världskunskapen från LLMs och positionerar semantiskt liknande text nära varandra i en inbäddningsrymd. Denna textinbäddningsmodell är likt andra modeller inom området och representerar naturligt språk som täta vektorer. Genom att dra nytta av denna teknik kan forskare och utvecklare effektivt förstå och bearbeta text med mänskliknande noggrannhet.
Gecko är ett ytterligare exempel på den banbrytande forskningen som bedrivs av Google DeepMind inom området artificiell intelligens och språkbearbetning. Modellens kompakta natur och mångsidiga användbarhet gör den till en värdefull tillgång för utvecklingen av avancerade AI-system och tekniker som kan bidra till samhället på olika sätt.
Hur skiljer sig Geckos inbäddningsmodell från traditionella modeller?
Gecko, den innovativa inbäddningsmodellen presenterad av forskare från Google DeepMind, skiljer sig avsevärt från traditionella modeller på flera sätt enligt information från källorna.
En av de främsta skillnaderna är att Gecko utnyttjar stora språkmodeller (LLM) för kunskapsdestillering istället för att förlita sig på omfattande mängder märkt data, vilket traditionella modeller gör. Detta innebär att Geckos inlärningsprocess initieras genom att generera syntetiskt parat data via en LLM
. Denna metod möjliggör en kompakt och effektiv inbäddningsmodell som inte är lika beroende av stora mängder märkt data för att lära sig och prestera bra.
En annan intressant aspekt som bidrar till Geckos unika egenskaper är införandet av Tandem Transformers för att göra LLM mer effektiva. Forskarna implementerar en projiceringslager för att föra de eventuellt högdimensionella representationsutrymmena i LLM i samklang. Experiment med Tandem (PaLM2-Bison, PaLM2-Gecko) visar att kapaciteten som krävs för NLU vs NLG-delarna av LLM kan separeras, vilket resulterar i en mer effektiv design utan en märkbar minskning av noggrannheten.
Denna information ger en insikt i hur Gecko skiljer sig från traditionella inbäddningsmodeller och hur den utnyttjar innovativa tekniker som Tandem Transformers för att optimera prestanda och effektivitet.
