Po klęsce Rosjan pod Tannenbergiem w 1914 roku władze niemieckie założyły pod koniec sierpnia 1914 roku duży obóz jeniecki w Pile. Później obóz przyjmował również jeńców z innych krajów Ententy: Brytyjczyków, Francuzów i Belgów. Ze względu na skrajnie trudne warunki życia wewnątrz obozu oraz szybkie rozprzestrzenianie się chorób (cholera, dur brzuszny, czerwonka) w 1915 roku zdecydowano o budowie dużego cmentarza dla zmarłych jeńców. Do wyzwolenia obozu w listopadzie 1918 roku na tym cmentarzu pochowano ponad 2600 jeńców. Większość z nich stanowili jeńcy rosyjscy, dlatego cmentarz aż do drugiej wojny światowej znany był pod nazwą Russen Friedhof. W latach 1949–1953 po drugiej stronie leśnej drogi założono cmentarz żołnierzy radzieckich i polskich poległych podczas walk o Piłę.
W rosyjskiej części cmentarza znajdowała się niegdyś kaplica greckokatolicka, której kamień węgielny położono 21 maja 1915 roku dzięki datkom jeńców rosyjskich. Poświęcona 29 grudnia tego samego roku, została zburzona w pierwszych latach po drugiej wojnie światowej. Dzisiaj widoczne są jedynie fundamenty, w północno-wschodniej części cmentarza. Nieopodal wciąż wznosi się duży krzyż prawosławny. Znajduje się tu również pomnik żołnierzy rosyjskich narodowości polskiej, litewskiej i łotewskiej, wzniesiony w 1916 roku. Jest to duży krzyż z białego marmuru umieszczony na wysokim cokole, na którym wyryto po polsku, po litewsku i po łotewsku cytat z Apokalipsy świętego Jana. W północno-zachodnim narożniku cmentarza pomnik upamiętnia żołnierzy rosyjskich pochodzenia niemieckiego i wyznania luterańskiego, zmarłych w obozie w Pile. Ma on kształt piramidy i jest zwieńczony żeliwnym krzyżem. Można na nim odczytać inskrypcję po niemiecku, zaczerpniętą z Listu do Hebrajczyków. Czarny obelisk, wzniesiony w 1916 roku, upamiętnia jeńców brytyjskich. Można na nim odczytać nazwiska i jednostki zmarłych żołnierzy oraz cytat z Księgi Hioba. Kwatery brytyjskie są bardzo dobrze zachowane.
Trzy inne pomniki nie przetrwały do dnia dzisiejszego. Pierwszy był poświęcony żołnierzom wyznania mojżeszowego. Była to masywna prostokątna kolumna zwieńczona gwiazdą Dawida. Została zniszczona przez nazistów. Dzisiaj można znaleźć kilka pozostałości grobów żydowskich. Drugi był poświęcony żołnierzom wyznania muzułmańskiego. Była to stela z cytatem z Koranu, zwieńczona półksiężycem. Została zniszczona w czasach Polski komunistycznej. Podobnie można znaleźć pozostałości grobów muzułmańskich. Trzeci wreszcie był poświęcony żołnierzom armii francuskiej i belgijskiej. Była to stela zwieńczona krzyżem, z inskrypcją po francusku. Również ona została zniszczona w czasach Polski komunistycznej. Do dnia dzisiejszego nie zachował się żaden nagrobek żołnierza francuskiego lub belgijskiego (pierwotnie z płytami z czarnego marmuru).
W 1984 roku, pośrodku cmentarza, wzniesiono pomnik upamiętniający wszystkich pochowanych tu jeńców. Przy wejściu na cmentarz umieszczono również kamień z inskrypcją 1914–1918.