La petite colonie retourne en France
En 1604, Pierre de Gua de Monts organise une expédition qu'il conduit en personne au sud est du Canada, où il est accompagné de Samuel Champlain, qui y participe en tant que géographe et cartographe, explorateur, et de Jean de Poutrincourt.
Aucune femme ni enfant ne fera partie de cette expédition devant durer plusieurs années.
Dugua installe cette première colonie en Acadie, sur l’île Sainte-Croix, dans le fond de la Baie française. Mais l'hiver terrible enduré par ces premiers colons le conduit, au mois d’août 1605, à transférer la colonie sur un site plus approprié, que Champlain et Gravé-Dupont avaient repéré : ce sera Port-Royal, un lieu protégé des vents du nord-ouest et situé sur un lagon sis à l'est de la Baie française (aujourd'hui dans la vallée dite d'Annapolis, en Nouvelle-Écosse, près de Digby).
Cependant, les plaintes continuelles des autres marchands, privés du commerce des fourrures, amèneront Henry IV à suspendre ce monopole commercial accordé à Dugua.
En 1607, donc, tous doivent retourner en France, où Dugua était revenu deux ans auparavant pour faire rapport et tenter d'empêcher cette fâcheuse issue. Il ne reviendra plus jamais en Amérique, mais continuera à investir (à fonds perdu) pour y établir une colonie française.