Iskalni algoritem uporabi akustične modele, da določi najverjetnejši niz besed, ki jih imamo v slovarju za razpoznavanje govora; iz slovarja torej izbere tisti niz besed, ki se akustično najbolje ujemajo z izgovorjenimi besedami. To se izvede s pomočjo prikritih modelov Markova, ki predstavljajo posamezne najmanjše enote razpoznavanja (foneme). V vsakem časovnem segmentu se za vsak takšen model izračuna verjetnost, ki podaja ujemanje z vhodnim delom govora (vektorjem značilk). Ob tem se upošteva še smiselni vrstni red fonemov, ki tvorijo besede iz slovarja. Če imamo v sistemu za razpoznavanje govora tudi jezikovni model, iskalni algoritem na višji ravni na podlagi rezultatov jezikovnega modela uteži tudi smiselni vrstni red besed (npr. zaporedje »danes je lepo vreme« je veliko verjetnejše od zaporedja »danes je lepa vreme«). Na koncu je izbran tisti niz besed, ki doseže največjo verjetnost.