神社明細帳に「推古天皇の御宇創建と称す、承安年中より代々赤門東福寺これが別当たりしも、同寺は長禄元年今の地に移転、以前毎歳海賊の略奪を受けしと、天正3年の兵火に罹り、また文政8年火災を蒙りしをもって本社の古記旧伝共に烏有に帰しその詳細を知るに由なしと雖ども、里俗に里鎮守又は『人不入斗宮』と唱えたり。文禄3年の検地水帳所載の神楽畑四畝十六歩と共に松平越前守が陣営中に編入せられし際、本社の四隅に霊地保護の為、禁制札を掲ぐ。享保8年社地東西43間南北9間と御改めありて神事を此処に奉行せり」とある。
境内の楠木は樹高20メートル、周り1.8メートルで昭和48年横浜市より名木古木に指定せられたが、往時は「人不入斗宮」と称されたほど樹木鬱蒼たる社叢であった。
