Тейлор родился в штате Северная Каролина, но большую часть детства провел в Вашингтоне. В колледже он изучал социологию и музыку. После выпуска Тейлор переехал в Нью-Йорк, где начал карьеру джазового пианиста. Через некоторое время он встал во главе коллектива музыкантов, который получил название The Billy Taylor Trio.
Впоследствии Тейлор играл с такими музыкантами, как Чарли Паркер, Диззи Гиллеспи и Майлз Дэвис. Кроме того, он был первым темнокожим, возглавившим студийный оркестр в 1950-х годах.
Одним из главных достижений Тейлор считал сотрудничество с программой Sunday Morning show на CBS, один из выпусков которой был удостоен награды престижной телевизионной премии "Эмми" в 1983 году.
Тейлор также основал организацию Jazzmobile, целью которой была популяризация джаза в Америке. В рамках этой деятельность Jazzmobile устраивала джазовые концерты, фестивали и другие мероприятия, которые знакомили самую широкую аудиторию с джазом. С 1977 по 1982 года Тейлор был ведущим популярного джазового шоу на National Public Radio.