Jak podają autorzy Almanachu gmin żydowskich, cmentarz żydowski w Ostrołęce powstał w 1794 r., wraz z ukonstytuowaniem się miejscowej gminy wyznaniowej. Data ta jest jednak wątpliwa. W spisie podatkowym z 1790 r. nie odnotowano obecności Żydów w Ostrołęce, a w 1808 r. w mieście mieszkało tylko 99 Żydów. Z kolei Jan Mironczuk w swoim opracowaniu "Społeczność żydowska w okręgu bożniczym w Ostrołęce", opierając się na archiwalnym dokumencie, podaje, że uformowanie się lokalnej gminy żydowskiej (dozoru bożniczego) nastąpiło dopiero w 1822 r. Niewykluczone zatem, że cmentarz założono dopiero w trzeciej dekadzie XIX wieku.

Cmentarz stał się miejscem pochówku zmarłych z Ostrołęki oraz wsi podporządkowanych miejscowemu dozorowi bóżniczemu, między innymi z Czarnowa, Czerwina, Ponikwi, Wólki Brzezińskiej, Andrzejewa, Kaczyna, Czarnowca i innych miejscowości. W połowie XIX w. Żydzi w Myszyńcu utworzyli własny cmentarz.

Cmentarz założono na gruntach położonych około 1,2 km na południe od rynku. W XIX w. ten teren znajdował się poza zabudową miasta. Nie wiadomo jaka pierwotnie była powierzchnia cmentarza i czy była stopniowo powiększana. Przed drugą wojną światową cmentarz zajmował działkę o przybliżonej powierzchni 3,6 ha.

Na podstawie szczątkowego materiału ikonograficznego wiadomo, że cmentarz znajdował się na niewielkim wzgórzu, był częściowo porośnięty drzewami. Ogrodzenie stanowił wysoki, betonowy mur. Część macew była wykonana z piaskowca i zdobiona polichromiami.

Po wybuchu wojny światowej cmentarz nadal pełnił funkcje grzebalne. Pochowano na nim m. in. Gedalię Rozenbojma i jego córkę, zastrzelonych przez Niemców w okolicach Ostrołęki.

Po 1939 r. nastąpiła częściowa dewastacja cmentarza. We wrześniu 1941 r. Niemcy przywieźli do Ostrołęki grupę robotników przymusowych z getta w Łomży i nakazali im rozebranie muru cmentarza. Proces niszczenia był kontynuowany także po 1945 r.

W 1976 r. Ostrołękę odwiedził Richard Cohen. W wydanej w 2014 r. książce Israel: Is It Good for the Jews? wspomina spotkanie z nieznanym z nazwiska mężczyzną, byłym dozorcą cmentarza: "Przed laty ten starszy człowiek przybył ze wsi, aby opiekować się cmentarzem. Było to zadbane miejsce, otoczone przez piękne sosny. Był w pracy w dniu, w którym Niemcy pojmali Żydów i przyprowadzili ich na cmentarz. Żydzi zostali zmuszeni do przewrócenia nagrobków i potem pomaszerowali do lasu. Tam zabili ich Niemcy. Po wyzwoleniu miejscowi plądrowali cmentarz. Zabierali nagrobki i obudowy grobów i wykorzystywali je jako materiał budowlany (....). Kiedy nagrobki znikały, ziemia odsłaniała kości. Czaszki wysuwały się z ziemi, dzieci grały w piłkę głowami zmarłych Żydów. Miejscowy sekretarz partii komunistycznej, Żyd, najął starszego człowieka, by zebrał czaszki i ponownie je pochował".

W zbiorach Remigiusza Makowieckiego - prywatnego kolekcjonera z Ostrołęki - znajdują się 2 fotografie, wykonane na cmentarzu prawdopodobnie w pierwszych latach powojennych. Widać na nich kilka polichromowanych macew - m. in. Izraela Icchaka Chaima Tuwji (?) syna Mordechaja oraz Menachema Awrahama syna Jehudy - w otoczeniu licznych gruzów z rozbitych nagrobków. Można zakładać, że po 1945 r. na cmentarzu znajdowało się stosunkowo dużo macew.

Zapewne w latach 50-tych cmentarz fotografował Mark Rakowski, tłumacz i współpracownik Żydowskiego Instytutu Historycznego. Dwa z jego zdjęć zamieszczono w Księdze Pamięci Ostrołęki. Przedstawiają one betonowe obramowania zniszczonych grobów.

Jeden z użytkowników forum www.moja-ostoleka.pl napisał w wątku dotyczącym cmentarza: "To była duża góra, macewy wystawały z niej lub leżały. Jeszcze w latach 60-tych dzieci zimą zjeżdżały tam na sankach. Podobno został zdewastowany i splantowany w 1980 r. Słyszałem też wersję, że "poszedł" na wał przeciwpowodziowy".

Cmentarz został stopniowo zabudowany. W północnej części - w rejonie ulic Poznańskiej, Stefczyka i 6 Września - powstało osiedle domków jednorodzinnych, potocznie nazywane "Kierkut". Przez cmentarz przeprowadzono ulicę Janusza Korczaka. W południowej części cmentarza zbudowano szkołę (obecne Gimnazjum nr 2 im. Danuty Siedzikówny "Inki") oraz Zespół Placówek Opiekuńczo-Wychowawczych. Wszelkie naziemne ślady cmentarza uległy całkowitemu zatarciu. Nieliczne odnalezione fragmenty nagrobków były zbierane i zabezpieczane przez lokalnych społeczników - Barbarę i Tomasza Damięckich.

12 maja 2010 r. szczątki ludzkie zabezpieczone podczas robót budowlanych zostały uroczyście pochowane obok pomnika przy ul. Poznańskiej. Miejsce pochówku otoczono łańcuchem rozpiętym między słupkami i oznaczono tablicą z napisem: "Tu znajdują się prochy Żydów ostrołęckich, zebrane podczas budowy ulicy Janusza Korczaka. Naczelny Rabin RP, Komitet Ziomkostwa Żydów Ostrołęckich w Izraelu, Fundacja Ochrony Dziedzictwa Żydowskiego, Miasto Ostrołęka. Ostrołęka 12 maja 2010".