Klub został założony w 1899 roku. W drugiej dekadzie XX wieku był czołową drużyną Normandii i pięciokrotnie zostawał mistrzem regionu w tamtym okresie. W 1925 roku jedyny raz w swojej historii Rouen dotarł do finału Pucharu Francji, w którym uległ CASG Paryż w dwumeczu (1:1, 2:3). W 1936 roku Rouen awansował po raz pierwszy do pierwszej ligi francuskiej, w której grał do 1943 roku. W okresie I wojny światowej dwukrotnie w latach 1940 i 1945 wywalczył mistrzostwo Francji Północnej. W 1944 roku Rouen powrócił do pierwszej ligi i grał w niej do 1947 roku. Kolejne pobyty w Ligue 1 przypadały na lata: 1960-1970, 1977-1978 i 1982-1985. W sezonie 1969-1970 klub wystąpił w Pucharze Miast Targowych 1969/1970. W pierwszej rundzie pokonał FC Twente (2:0, 0:1), w drugiej Sporting Charleroi (1:3, 2:0) i odpadł w 1/8 finału po dwumeczu z Arsenalem (0:0, 0:1). W 2004 roku Rouen spadł z Ligue 2 do Championnat National (III liga), a w 2005 do ligi amatorskiej (IV szczebel rozgrywek). W 2009 roku zespół wrócił do Championnat National.
Q – runda eliminacyjna, 1/16, 1/8, 1/4, 1/2 – odpowiednia faza rozgrywek, Grupa – runda grupowa, 1r gr – pierwsza runda grupowa, 2r gr – druga runda grupowa, F – finał, R – runda, PO – play-off
k. – rzuty karne, los. – losowanie, Dogr. – dogrywka, w. – zasada bramek strzelonych na wyjeździe