* Antal matcher och mål i seniorlag räknas endast för de inhemska ligorna och är korrekt per den 5 januari 2021. ** Antal landskamper och mål är korrekta per den 29 maj 2019.
I juli 2011 värvades Ruffier av Saint-Étienne, där han skrev på ett fyraårskontrakt.[1] Den 7 augusti 2011 debuterade Ruffier för Saint-Étienne i en 2–1-bortvinst över Bordeaux.[2] I september 2014 skrev Ruffier på ett nytt kontrakt med Saint-Étienne fram till 2018.[3]
Under andra halvan av säsongen 2019/2020 hamnade Ruffier i en konflikt med tränaren Claude Puel över att ha blivit ersatt i startelvan av Jessy Moulin.[4] I augusti 2020 meddelade Puel att Ruffier inte var en del av Saint-Étiennes trupp för säsongen 2020/2021.[5] Den 4 januari 2021 meddelade Saint-Étienne att de brutet Ruffiers kontrakt.[6] Totalt spelade han 383 matcher under sin tid i Saint-Étienne.[4]