Но Лори лишили этого аристократического наследия, когда в 1929 году ее мать во второй раз вышла замуж, а ее второй муж, Роберт Форест Смит, удочерил Лори и к ее ужасу дал прозвище Панки. «Двери, открытые для Лори МакЛорин Жанин, навсегда закрылись для Панки Смит», – говорила Лори, но тем не менее пользовалась этим прозвищем и даже просила друзей называть ее так, когда была уже взрослая.

Оглядываясь на свое детство, она признает, что ее семью разрушил алкоголь, сделавший мать беспечной, а жизнь нестабильной. «Когда я росла, то никогда не знала, проснусь ли я Королевой мая или Меленькой сироткой Энни», – признавалась она. У ее родного отца тоже были проблемы с алкоголем: «Я поняла, что нам нельзя пить. В нашей семье были люди, достигшие высот, но все рушилось в один миг. Бах! И все из-за алкоголя. Если не можешь остановиться – не начинай… Для нашей семьи это яд».

Когда Великая депрессия практически уничтожила Роберта Смита, семья Лори вынуждена была больше десяти лет слоняться между Новым Орлеаном и Кроули, штат Луизиана. В какой-то момент ее отчим решил заняться продажей мороженого. «Первый раз в моей жизни, – говорила она, – у нас не было темнокожего слуги. Я думала, что это конец». В подростковом возрасте Лори переехала в Пасс Крисчен, штат Миссисипи, а потом обратно в Новый Орлеан, где в 1941 году поселилась в пансионате и какое-то время выступала во Французском квартале, а ее родители уехали в Мобил, штат Алабама. В начале Второй мировой она работала в метеобюро в Новом Орлеане, и тут Пентагон запросил, говорит ли она по-французски. «Свободно», – соврала Лори, после чего переехала в Джорджтаун. Здесь, в Вашингтоне, она встретила молодого морского офицера Уильяма Мусгрейва, за которого вскоре вышла замуж, после чего он вскоре отправился в южную часть Тихого океана."

"С новым именем Лори МакЛорин Мусгрейв часть войны прожила в Сан-Франциско, посещая занятия по литографии и пересекаясь (с ее слов) с Фрэнком Ллойдом Райтом и Генри Миллером. Когда война закончилась и Уильям Мусгрейв вернулся домой, пара недолго пожила в Сан-Диего, а позже переехала в Чикаго, где он устроился на работу инженером-электриком. В 1947 году Лори родила сына Ларина МакЛорина Мусгрейва, известного по фамилии МакЛорин. В раннем возрасте он заболел воспалением легких, и Лори, переживая, какие последствия может оказать ужасная чикагская зима на ребенка, отправила сына к матери и отчиму в Мобил. Вскоре после этого Лори и Уильям развелись. Она осталась одна, но не сломалась и была счастлива. «Я просто слишком рано вышла замуж, – объясняла Лори. – Я хотела выйти развеяться и попробовать распустить крылья».