ఈ ఆలయంపై రామాయణానికి సంబంధించిన ఆసక్తికరమైన కథ ఉన్నది. రాముడు రావణ సంహారం చేసిన తర్వాత లంక నుండి అయోధ్య వెళుతూ రామేశ్వరం చేరుకొన్నాడు. రావణ సంహారంతో రామునికి బ్రాహ్మణ హత్యాదోషం కలుగుతుంది. ఈ దోష పరిహారానికి కాశీ నుండి శివలింగాన్ని తెప్పించాలని కులగురువు వశిష్టుడు సూచించాడు.అప్పుడు రాముడు ఆంజనేయుని పిలిచి కాశీ నుండి శివ లింగాన్ని తీసుకొని రమ్మని పురమాయిస్తాడు. ఆంజనేయుడు శివలింగానికోసం కాశీకి వెడతాడు. ఆంజనేయుడు తన తిరుగు ప్రయాణంలో రామగిరి చేరుకొంటాడు. అప్పుడు ఈ ప్రాంతాన్ని కాళింగమధుకరై, తిరుక్కారికరై అని పిలిచేవారు. అక్కడ కాలభైరవస్వామి వాసం చేస్తుంటాడు.ఆంజనేయుడు శివలింగాన్ని తీసుకొని రావడం చూసిన కాలభైరవుడు ఆ లింగం తన ప్రాంతంలో ప్రతిష్ఠ కావాలని ఆశిస్తాడు. తన ఆశ ఫలించేలా చూడాలని సూర్యుడిని, వాయుదేవుని కాలభైరవుడు కోరతాడు.సూర్యుడు ఎండ వేడిమిని పెంచగా, వాయుదేవుడు బలమైన వేడిగాలి వీచేలా చేస్తాడు. వాటితో ఆంజనేయునికి దాహం వేస్తుంది. పైగా చెమట పడుతుంది. స్నానం చేయాలని అని పిస్తుంది. కిందచూస్తే పశువుల కాపరి బాలుడి వేషంలో ఉన్న కాలభైరవుడు కనిపిస్తాడు. ఆంజనేయుడు కిందకు దిగివచ్చి ఆ ప్రాంతంలో నీటివనరు ఉన్నదా అని ప్రశ్నిస్తాడు.భైరవుడు గంగను ప్రార్థించి సమీపంలో ఒక కొలను ఏర్పడేలా చేస్తాడు.అతడు ఆంజనేయునికి ఆ కొలను చూపించగా ఆయన తన చేతిలోని శివలింగాన్ని కాసేపు ఉంచుకోవాలని కోరి దాహం తీర్చుకోవడానికి తీర్థానికి వెడతాడు. భైరవుడు వెంటనే లింగాన్ని నేలపై ఉంచి వెళ్ళిపోతాడు.
ఆంజనేయుడు నీరుతాగి తిరిగి వచ్చేసరికి బాలుడు ఉండడు. లింగం నేలపై కూరుకుపోయి ఉంటుంది. ఆయన దానిని పైకి ఎత్తడానికి ఎంతో ప్రయత్నిస్తాడు. అయితే వీలుకాదు. తన తోకను లింగం చుట్టూ కట్టి పైకెత్తడానికి కూడా ప్రయత్నిస్తాడు. అదికూడా ఫలితం ఇవ్వలేదు. గత్యంతరం లేకపోవడంతో ఆంజనేయుడు మరొక శివలింగం తీసుకొని రావడానికి కాశీకి పయనమవుతాడు. అప్పుడు వాతావరణం చల్లగా ఉంటుంది. వేడి గాలి స్థానే చల్లని గాలి వీస్తుంది. ఇదేదో చమత్కారమని ఆంజనేయుడు భావిస్తాడు. ఆయనకు కోపం వస్తుంది. ఆ కొలను కారణంగా ఇలా జరిగిందని తలచి ఆంజనేయుడు ఆ కొలను ఒక కొండగా మారాలని శపిస్తాడు. శాప ఫలితంగా కొలను కొండ రూపం దాల్చుతుంది. ఈ కొండపై ఇప్పుడు కార్తికేయుని గుడి ఉంది.ఆంజనేయుడు తెచ్చిన శివలింగం కొండ అడుగు భాగంలో ప్రతిష్ఠితమై ఉంది. రాముని కోసం ఆ లింగం వచ్చింది కాబట్టి ఈ ప్రాంతాన్ని అప్పటి నుండి రామగిరి అని, తోకతో లింగాన్ని ఎత్తడానికి ప్రయత్నించిన ఆంజనేయుని వాలీశ్వరుడని పిలువసాగారని ఐతిహ్యం.