La colonia llegó a contar, en los primeros tiempos, con hasta 100 personas, pero pronto algunas regresaron a Buenos Aires y otras a Punta Arenas.
“Todo este personal -dice Rouquaud-(…) halló el medio de abandonar mi establecimiento en planta, con armas, equipajes y fondos adelantados, de modo que cuando llegué a Santa Cruz no hallé a ninguno de mis operarios y peones.
Todas las lanchas y embarcaciones de pesca habían sido previamente desatadas en la noche que precedió a la fuga; la corriente las arrastró (…). En cuanto a la deserción de mi personal, no cabe la menor duda que sea la obra preconcebida de la administración chilena; la nota del 25 de junio de 1872, lo confiesa radicalmente (…)”.
Dos semanas después de partir la Chubut, en una nave inglesa despachó a Malvinas pieles, plumas y dinero para trocar por ganado vacuno. La misma regresó con un lote de novillos y una vaca lechera de regalo. Chilenos e ingleses se disputaban la colonia argentina con distintas estrategias.
Terminaba 07/1873 cuando arribó la Covadonga, nave de guerra chilena que llegaba a sondear el estado de la colonia.
En esos días falleció su esposa Luisa.
Ya no quedaban en la Colonia Rouquaud más que 6 hombres, 2 mujeres, 8 niños y una mucama. A principios de octubre regresó de Patagones la goleta Chubut y en noviembre de 1873 fondeó la corbeta chilena Abtao con la excusa de realizar estudios náuticos y para levantar un inventario de los bienes introducidos en la colonia.
Uno de sus oficiales le dijo a Julia:
“Tengo un encargo del gobernador y es que, si todos quieren ir a Chile, el Gobierno les facilitará todo, casa, servicio, cuanto pueda necesitar su familia.
Sentí que me faltaban fuerzas y que me ponía pálida, pero sin embargo le repliqué:
Dígale al gobernador que no, y que le agradecemos esta humillación que nos hace, y que pobres podremos vivir en nuestra patria la Argentina, pero esa riqueza de Chile jamás (yo estaba trémula).
Ustedes perdonen dijo el pobre yo tengo que obedecer. Tiene razón le dije; Usted no es el culpable y le di la mano.
Saludó y se fue. No se habían atrevido a llevarnos prisioneros y querían comprarnos para que nos fuéramos”.
Pronto apareció otro buque chileno: la corbeta Chacabuco armada en guerra y provista de tropas de desembarco. En esas circunstancias, la goleta Chubut se aprestó al combate acercándose hasta la isla Pavón donde estaban los cañones de Piedra Buena y el río tenía menos profundidad, lo que iba a dificultarle maniobras a la corbeta chilena. Ante la inminente contienda, Rouquaud se declaró neutral izando al tope de sus casas la bandera francesa. En febrero de 1874, el gobernador de Punta Arenas, desembarcó la guarnición y tomó posesión de las veinte casillas; a lo que Vicente Quesada agrega: “Rouquaud no ha recibido nada del gobierno chileno, y tropas de aquel país han tomado posesión por la fuerza de esa parte del territorio argentino, con violación del tratado de 1856”. Los chilenos levantaron una Capitanía y dejaron algunos colonos. Entonces Rouquaud decidió viajar a Santiago en la misma Chacabuco para discutir allí su situación con Félix Frías, representante argentino, y luego al ministro de Relaciones Exteriores chileno, Adolfo Ibáñez, quien le dijo:
“(…). La culpa no es nuestra; la tienen los argentinos. Santa Cruz estaba en litigio y no podía ninguna de las dos naciones ejercer allí actos de administración alguna. Pero ellos faltaron y nosotros hemos seguido el ejemplo”.
Días después le dijo que el gobierno de Chile estaba dispuesto a indemnizarlo si abandonaba la colonia, pagándosele los 90.000 patacones en que habían sido evaluadas sus construcciones, y si una vez resuelta la cuestión de límites, aquel territorio se adjudicaba a la Argentina, el gobierno chileno transferiría a Ernesto las mejoras gratuitamente. Era una trampa, porque una vez dueños de las casas sería difícil desalojarlos.
Rouquaud se embarcó para Punta Arenas a donde llegó en otoño de 1874.
Quedaban 15 personas en Los Misioneros. Todos fueron embarcados en la nave Chacabuco, y con ellos los 70 cajones que comprendían el equipaje.
Luego, la goleta Chubut llevó a Carmen de Patagones los elementos que habían quedado en la ex colonia.
Rouquaud falleció sin cobrar la indemnización prometida.
En 1912, su yerno Augusto Mallié presentó formal demanda a la Nación, solicitando la sesión de las tierras que le había otorgado la Ley Nº 529. El pleito terminó en 1918, con resultado desfavorable para los herederos.