Среди населения преобладали черкасы (переселенцы с Украины). В 1652-1668 годах сформирован Острогожский черкасский полк Слободской Украины (существовал до 1765 года). В 1670 году жители Острогожска поддержали Разина восстание 1670-1671 годов: город был взят повстанцами во главе с атаманом Ф. Колчевым. Во 2-й половине XVII века Острогожск входил в Белгородский разряд. В 1696 году в Острогожске состоялась встреча царя Петра I с гетманом И.С. Мазепой (установлен памятный знак). В начале XVIII века крепость разобрана. Уездный город Азовской (1708-1722 годы), Киевской (1722-1727 годы), Белгородской (1727-1745 годы), Воронежской (1745-1765, 1779-1797, 1802-1928 годы), Слободско-Украинской (1765-1779 годы, 1797-1802 годы) губерний. В 1766 году по указу императрицы Екатерины II близ Острогожска (на левом берегу реки Тихая Сосна) основана немецкая колония Рибенсдорф (ныне село Рыбное).
