Оливер продолжал делать записи со случайными ансамблями. В конце 1928 года он стал выступать с группой, сколоченной его племянником, трубачом Дэйвом Нелсоном. В течение 1931 года вместе с этой группой он записал новую серию пластинок, оказавшуюся неудачной. В основном это были банальные песенки о любовных терзаниях, сочиненные им вместе с Нелсоном. Почему‑то Оливер возлагал на своего племянника большие надежды, считая, что тот может помочь ему вернуть успех.

В довершение всех его бед Оливер заболел. Его мучила пиорея, болезнь десен. После 1926 года он играет все реже и реже. Оливер уже не может, как прежде, исполнять подряд хорус за хорусом. На пластинках, выпущенных в 1927 году, его труба слышна меньше половины всего времени записи. К концу следующего года он вообще оказывается не в состоянии выступать. По словам «Барни» Бигарда, как только Оливер пытался играть, «его расшатанные зубы начинали ходить ходуном» . В 1929 году он обзаводится челюстными протезами и возобновляет концертную деятельность. В середине того же года были сделаны записи, во время которых Оливер исполнил несколько сольных номеров, но основная игровая нагрузка падает теперь на других членов группы, и прежде всего на Дэйва Нелсона. В 1930 году во время одного из сеансов записей он даже вынужден поручить исполнение соло с плунжерной сурдиной специалисту по граул‑эффектам «Бабберу» Майли из оркестра Эллингтона. Сам Майли научился технике такой игры у Оливера, поэтому нетрудно представить, каким страшным унижением для надменного «Кинга» было стоять без дела в студии и слушать, как подражают его стилю.