Wat is Hybrid Routing?
Hybrid Routing is een intelligente modelkeuzelaag die voor elke gebruikersvraag automatisch bepaalt welk AI-model het meest geschikt is. Dit combineert twee doelen: maximale kwaliteit voor complexe vragen, en minimale kosten voor eenvoudige vragen.
Hoe werkt het?
Bij elke inkomende vraag analyseert de router een aantal signalen:
- Vraagcomplexiteit: Is de vraag feitelijk en eenvoudig ("Wat zijn uw openingstijden?") of vereist het dieper redeneren ("Kun je een vergelijking maken van de juridische implicaties van contract A versus contract B?")?
- Gevoeeligheid: Bevat de vraag gevoelige termen (medisch, juridisch, financieel) die een veiliger, nauwkeuriger model vereisen?
- Beschikbaarheid: Als een premium model tijdelijk traag is, kan de router automatisch terugvallen op een alternatief.
Op basis van deze analyse stuurt de router de vraag naar het meest geschikte model uit de door u geconfigureerde modelpool.
Configuratie
In het Einstein-dashboard konfigureert u de routeringsstrategie per bot:
- Stel de goedkope modelpool in voor routinevragen (bijv. Mistral 7B of GPT-4o Mini).
- Stel de premium modelpool in voor complexe vragen (bijv. Claude 3.5 Sonnet of GPT-4o).
- Definieer de drempelwaarde voor complexiteit — u kunt dit instellen op "agressief besparen" (meer vragen naar het goedkope model) of "kwaliteit voorop" (meer vragen naar het premium model).
Besparingspotentieel
Uit analyses van klantgesprekken blijkt dat gemiddeld 60–70% van de vragen routinevragen zijn die uitstekend door een lichtgewicht model worden beantwoord. Met Hybrid Routing kunt u de creditkosten voor die vragen met 50–80% reduceren ten opzichte van altijd het premium model gebruiken.