Après avoir quitté leurs parents et être entrés à l'école à Grangeville, Ernest, 11 ans, et Colette, 6 ans, ont réussi à se faire des copains, et ils ont même monté un club, les Robinson ! Mais quand Dieppe est bombardée, la bande est séparée : Ernest et Colette essaient de fuir avec leurs grands-parents. Très vite, ils se retrouvent séparés de Papilou et Mamili. Rentrés à Grangeville avec Jean-Baptiste, le facteur, et leur ami Jean et sa mère, ils assistent à l'arrivée des Allemands.
Bientôt, ils sont obligés de s'installer chez les Morteau. Pour Ernest, pas question de partager la maison de ses pires ennemis ! Il décide donc de se cacher dans le repère des Robinson, et demande à Colette de garder le secret...