古志氏三代高雅は、元弘・建武年間（１３３５）年に居城を浄土寺城から栗栖山城に移し、爾来古志氏が１２代にわたり２４０年間城主として、この地を治めた。今は城跡公園として地区民憩の場となっている。