La commune était jadis divisée en plusieurs hameaux : le val de Flandre et Rousseloy. Le nom du village rappelle les nombreux rus et sources qui s’y trouvent.
Au Moyen-Age, Rousseloy était au cœur d’un vignoble, sur la route qui reliait directement Paris à Boulogne. En témoignent encore aujourd’hui, les attelages de la Course du Poisson qui a lieu régulièrement en empruntant ce trajet qui était autrefois celui de la Poste à cheval.
Rousseloy abrite plusieurs carrières de pierre, très anciennes. Ces sites d’extraction ont fourni de la pierre dite de vergelé ainsi que du banc royal (qualité de roches calcaires typique de notre territoire) employée dans la construction des bâtiments environnants. Cette pierre réputée d’excellente qualité permit aussi la construction de l’Hôtel de ville de Beauvais.
Certaines carrières furent transformées en champignonnières dans la première partie du XXe siècle. Celles-ci exploitées par différentes familles ont définitivement fermées leurs portes en 1998.
L’église Saint-Martin datant des XIIe et XVIIe siècles est composée de deux chapelles accolées. Sa cloche est certainement la plus ancienne de la région. Tout en pierre, l’église abrite des fonts baptismaux classés Monuments Historiques.