Keluarga Carter menghabiskan hari-hari awal mereka sebagai suami dan istri di pangkalan Angkatan Laut di Norfolk, Va., tempat Jimmy pergi hampir sepanjang minggu untuk mengerjakan tugas dan Rosalynn menikmati kursus kilat dalam urusan rumah tangga.
Anak pertama mereka, nak John William “Jack” Carterlahir 3 Juli 1947, jadi pasangan itu merayakan ulang tahun pertama mereka di rumah sakit sebagai sebuah keluarga beranggotakan tiga orang. Tahun berikutnya, Jimmy terpilih untuk sekolah kapal selam di New London, Conn., dan akhirnya memiliki jam kerja reguler sehingga ia bisa berada di rumah setiap malam bersama istri dan anaknya.
Mereka menyambut putranya James Earl “Chip” Carter III pada 12 April 1950, saat mereka tinggal di Hawaii. Lalu ke San Diego, California, lalu kembali ke New London—tempatnya nak Donnel Jeffrey “Jeff” Carter lahir 18 Agustus 1952—lalu mereka pindah ke Schenectady, NY, agar Jimmy bisa belajar tenaga nuklir di Union College.
Rosalynn mengatakan bahwa dia berencana menjadi istri Angkatan Laut, berpindah dari kota ke kota dan melihat dunia bersama suaminya. Yang pada akhirnya dia lakukan, namun tidak dengan cara yang pernah dia bayangkan.