Główny obszar handlowy na Yardley jest nazwany Yew Tree, na pamiątkę drzewa, które pierwotnie stało na południe od ronda, a następnie podczas prac remontowych zostało przeniesione na skrzyżowanie ronda w centrum Yardley.
Yardley zostało wymienione w Domesday Book już w 972 roku pod nazwą „Gyrdleah”. Wieś Yardley, historycznie należała do Worcestershire, stała się samodzielną parafią w 1894, a w 1911 roku została przydzielona do Birmingham. Wcześniej Yardley obejmowało obszary zwane Stechford i Green Hall. Obecnie dzielnica jest podzielona na Yardley i South Yardley.
Na ówczesnych ziemiach Yardley stał okazały dwór, który był własnością rodziny królewskiej aż, do 1626, kiedy to został kupiony przez Richarda Grevis’a z Moseley Hall. Jego potomek sprzedał go w 1759 roku na spłatę długów. W 1766 roku, John Taylor, jeden z założycieli Lloyds Bank, odkupił dwór oraz część ziemi przynależącej do dworu.
Decydujące zmiany dla tego rejonu przyniósł rok 1911, kiedy to powiat Yardley został połączony z Birmingham. Nastąpiło wiele przemian gospodarczych oraz ogromny wzrost populacji. Rozpoczęto budowę domów i mieszkań, nastąpił wielki rozwój przemysłu. Pojawiły się tramwaje elektryczne, a następnie trolejbusy, kina, restauracje i puby.
W latach 1960-1967 prace poszerzenia drogi spowodowały zniknięcie wielu zielonych miejsc oraz kilku cieszących się ogromną sławą pubów Swan.