పూర్వకాలంలో ఈ ప్రాంతమంతా కీకారణ్యము. ధ్రువుని తల్లి సునీత. ధ్రువుని సవతి తల్లి ధ్రువుడు సింహాసనం ఎక్కకుండా తంత్రాలు నడుపుతుంది. సునీత, ధ్రువుని పిలిచి నీవు సింహాసనం అధిష్టించి, రాజ్యపాలన చేయాలి. అందుకు శ్రీ మహా విష్ణువు దర్శన భాగ్యం కలగాలి. ఆయన దయతో నీకు రాజ్యపాలన యోగం కలుగుతుంది. అందుచేత తపమాచరించి, విష్ణు దర్శనం పొంది, రాజ్యాధికారం సంపాదించమని చెప్పి అడవులకు పంపుతుంది. అలా బయలుదేరిన ధ్రువుడు, ఈ కీకారణ్య ప్రదేశానికి చేరుకున్నాడు. అచ్చట శాండిల్య మహాముని ఆశ్రమం ఉంది. ఆ మునీశ్వరుని దర్శనం చేసుకున్న ధ్రువుని చూచి, అతని మనసులోని కోరిక తెలిసినవాడై, ముని అతన్ని పిలిచి “నాయనా విష్ణుమూర్తి యొక్క దివ్య మంగళ రూపం తలుచుకొంటూ తపస్సు చెయ్యి. స్వామి ప్రత్యక్షమై నీ కోరిక తీరుస్తాడు అని చెప్పినారు. మునీశ్వరులు చెప్పినట్లుగా తపమాచరించుట మొదలుపెట్టినాడు.
అలా కొంతకాలం గడిచిన తర్వాత, ధృవుని తపస్సుకి మెచ్చినవాడై విష్ణుమూర్తి దర్శనమిచ్చాడు. దివ్యకాంతులతో ప్రకాశిస్తున్న విష్ణుమూర్తిని చూచి ధృవుడు భయపడ్డాడు. అంతట విష్ణువు “బాలక భయమెందుకు తత్తరపాటు చెందకు నేను నీ అంతే కదా ఉన్నాను” అని నవ్వుతూ పలుకటయే కాకుండా చెక్కిళ్ళు ఒత్తి భయము లేకుండా చేసాడు. స్వామి అక్కడే శిలారూపంలో వెలసినాడు. ధ్రువునకు ప్రత్యక్షమైన విష్ణుమూర్తి శ్రీ శృంగార వల్లభస్వామిగా పేరుగాంచాడు. విష్ణువు ధ్రువునితో “నీ అంతే ఉన్నాను కదా” అన్ని చెప్పిన కారణంగా చూసే భక్తులు ఎంత ఎత్తు ఉంటే అంతే ఉన్నట్లుగా దర్శనమిస్తాడు స్వామి. చెక్కిళ్ళు ఒత్తిన కారణంగా కుడి ఎడమలకు ఉండవలసిన శంఖు చక్రములు ఎడమ, కుడిలకు ఉంటాయి. స్వామి వారు వెలిసిన కొంతకాలానికి దేవతలు వచ్చి స్వామి వారికి ఆలయనిర్మాణం చేసారు.
తరువాత లక్ష్మీదేవి, నారదుడు. ఈ యుగమున శ్రీ కృష్ణదేవరాయలు వారు భూదేవి అమ్మవారి తామ్ర విగ్రహాన్ని ప్రతిష్ఠించినట్లు శిలాశాసనముల ద్వారా తెలియచున్నది. భోజమహారాజు, భట్టివిక్రమార్కులు, రుద్రమదేవి, పెద్దాపురం సంస్థాన మహారాణులు ఈ స్వామిని దర్శించుకొన్నవారిలో కొందరు. విక్టోరియా మహారాణి స్వామిని దర్శించి వెండి కవచము చేయించినట్లు చెబుతారు. నిత్య దీపధూప నైవేద్యాలు జరుగుతున్నాయి. ప్రతి సంవత్సరం చైత్ర శుద్ధ ఏకాదశి రోజున స్వామివారి కళ్యాణం దివ్యంగా జరుగుతుంది.