Hřbitov byl založen téhož roku 1875 u cesty k dnes již neexistujícímu mlýnu Kieselmühle.

Během tzv. Křišťálové noci z 9. na 10. listopadu 1938 byla ve městě vypálena místní synagoga a na hřbitově byly poničeny náhrobky, Za války devastace pokračovala, byla zbořena obřadní síň a odvezena většina náhrobků.

Po válce byl hřbitov znovu upraven a později do něj byly přeneseny také náhrobky z jiných, během války zrušených, židovských hřbitovů v regionu, mezi nimi dva náhrobky z Lázní Kynžvart (jeden z nich z roku 1713) převezené po roce 1976. Roku 1988 sem bylo přeneseno také několik desítek nejcennějších náhrobků z likvidované části židovského hřbitova v Tachově.