当社の草創については社記に「正親町天皇の御宇天正元（1573）年3月12日信濃國諏訪明神の御分霊を勧請す」と伝える。記録に明らかなところでは享和元（1801）年8月本殿・拝殿の造替があり、現在の社殿は大正12年に造営されたものである。
往古、当社は三浦郡横須賀村中横須賀（現在の下町商店街地区）瀧にあり、後背の丘陵海中に聳立し遙かに江戸湾を一望に収め波浪の響常に絶えずという環境にあり、散在せる住民は専ら漁業を以て生計となし、依って当社も漁業の守護神として崇敬を聚めた。
明治の御代に至り横須賀軍港の設置に伴い転入者の逐年増加する趨勢となったため付近の山崖を切崩し埋立てることになり当社の存置が危ぶまれたが、3人の篤志家が所有地を寄進し社殿を奉還したのが現在地である。
因みにこの付近一帯の埋立て工事は主に高橋勝七氏によって施工されたため、その屋号若松屋から若松町と名付けられた。
大正11年5月村社に列格、更に同年9月神饌幣帛料を供進すべき神社に指定された。
爾来、横須賀市の中心たる下町商業地域の中核をなす神社として御神威弥高く、殊に5月の例祭と11月の酉の市（境内社大鷲神社の例祭）は下町の風物詩として広く市民に知られている。
