Gmina wyznaniowa w Sokołach posiadała dwa cmentarze. Najstarszy z nich - założony w XVIII wieku przy obecnym placu Mickiewicza - został zamknięty pod koniec dziewiętnastego stulecia. W "Księdze Pamięci Sokół" zamieszczono kilka zdań, dotyczących zapewne tej właśnie nekropolii: "Macewy na starym cmentarzu były tak wiekowe, że niektóre zapadły się już pod ziemię, a litery na nich były zatarte. Kilka nagrobków było wykonanych z marmuru, a obramowania grobów zbudowano z kamieni i betonu. Jeden z tych pomników stał przy wejściu do budynku. Był to grób sprawiedliwego rabina Jony Gutmana, o którym jedynie najstarsi mieszkańcy mogli coś opowiedzieć". Do dziś po tym cmentarzu nie pozostał nawet najmniejszy materialny ślad, w jego miejscu wybudowano przychodnię.

Drugi cmentarz żydowski w Sokołach założono przy dzisiejszej ulicy Nowy Świat, na działce o numerze geodezyjnym 1/2. Jak wspominają starsi mieszkańcy, cmentarz był "ładny i dość duży".

W latach drugiej wojny światowej na cmentarzu dokonywano pojedynczych i zbiorowych egzekucji miejscowych Żydów. Przytoczmy tu urywki zeznań sądowych, dotyczących procesu policjanta z Sokół, Józefa J., który "starców bił i kopał nogami, a następnie kazał im wchodzić na fury, gdzie poszczególni gospodarze wieźli ich na cmentarz żydowski, a J. uzbrojony w pistolet pilnował ich. (....) Doły już były wykopane, ustawiono po kilku ludzi, a następnie strzelano im z tyłu w głowę. W powyższej egzekucji brał również udział J., który sam osobiście strzelał" (źródło: A. Żbikowski "Pogromy i mordy ludności żydowskiej w Łomżyńskiem i na Białostocczyźnie latem 1941 roku w świetle relacji ocalałych Żydów i dokumentów sądowych" w "Wokół Jedwabnego").

Warto wiedzieć, że cmentarz był miejscem kaźni nie tylko osób pochodzenia żydowskiego. Świadczy o tym fragment referatu Waldemara Monkiewicza, opracowanego w 1970 roku na zlecenie Okręgowej Komisji Badania Zbrodni Hitlerowskich w Białymstoku: "W 1943 roku nasiliła się na terenie Amtskomisariatu Sokoły fala terroru. Miały miejsce liczne aresztowania i egzekucje. Żandarmi zamordowali na cmentarzu żydowskim Antoniego Perkowskiego w wieku 50 lat, Kłoska Bolesława, Roszkowskiego, Stefana Klepackiego z (nazwa miejscowości nieczytelna), Czesława Roszkowskiego z Roszek Leśnych, Ignacego Roszkowskiego z Roszek Chrzczon, Franciszka Dworakowskiego z Perk Wypych, Krystynę Wasilewską w wieku 13 lat z Kruszewa Wypych, Jana Nitę z Porośli Wojsławy, Franciszka Szalewskiego z Dworak, Kalinowskiego z Sokół i Czesława Dworakowskiego s. Tomasza z Perk Wypych."