Située au clos St-Brice (Gros Caillou aujourd'hui), l'ancienne église, semble-t-il fut construite au XIIIème siècle. C'était d'abord un oratoire. De style ogival, elle fut augmentée d'une grande nef et d'un clocher en 1697 car le chœur gothique percé de deux fenêtres et les chapelles latérales ne parvenaient plus à contenir la population du village. Les seigneurs de Rimogne et ceux du Châtelet s'y sont faits enterrés jusqu'en 1793. Les sires du Croizet, eux, se faisaient enterrer au pied de la chaire où se trouvait leur caveau. Un vase d'airain servant de piscine aux fonts baptismaux portaient la mention "Rimongne 1642".
A côté de l'église se trouvait le cimetière. Jean Baptiste Buridant, instituteur en 1855, indique que le cimetière était abandonné depuis 1825 environ. L'église est vendue lorsque la nouvelle église est érigée.
Aujourd'hui, c'est en allant chez Mme Cazareth que l'on peut encore visiter la crypte et une voûte. A Rimogne, il reste une trace de cette église : la croix du clocher. Après des recherches, M. Simonetti et d'autres ont fait ériger un monument au carrefour de la rue du Gard et de la rue François Mitterrand où la croix est plantée.
Dans le livre de Léon Voisin intitulé "Les Ardoisières de l'Ardenne", il y a un plan des ardoisières au XVIIIème dessiné à la main où apparait une représentation de l'église de Rimogne. Dans l'église de Rimogne, quelques vitraux présentent en arrière-plan des monuments du village. Après examen, il semblerait que le vitrail de l'Annonciation présent dans la chapelle du Sacré Coeur présente un édifice religieux qui correspond à celui dessiné sur le plan.
Les seigneurs de Rimogne se faisaient donc inhumer dans l'église, dans la chapelle dédiée à Sainte Barbe. Dans le 3ème Tome des Archives généalogique et historiques de la noblesse de France publié en 1830, l'auteur nommé Lainé cite une autre personne inhumée dans l'église de Rimogne. Cette personne est Pierre de Foucault, écuyer, seigneur de Roncière. Il était enseigne d'une compagnie de gens de pied de la garnison de Rocroi. Lainé précise : "et fut tué à la défense de cette ville, dans une sortie contre les Bourguignons. Son corps, transporté à Rimogne, fut inhumé dans l'église de ce lieu ". Pierre de Foucaut n'était pas le seul de sa famille à reposer dans l'ancienne église. Sa femme, Marguerite de Crépieu, avait ordonné dans son testament qu'elle avait rédigé le 9 novembre 1598 qu'elle voulait être inhumée dans une chapelle aux côtés de sa tante Antoinette de Bayour et de sa soeur Catherine de Crépieu.
