ился 26 ноября 1856 г. в Москве. Музыкальное образование получил в Московской консерватории, которую окончил в 1882 г. Учителями Кастальского по теории музыки и композиции были П.Чайковский, Губерт и С.Танеев. В 1887 г. Кастальский поступил преподавателем фортепиано в Синодальное училище церковного пения, с 1889 г. - помощник регента, в 1901 г. - регент. В училище он преподавал сольфеджио, обычное пение и контрапункт, состоя в то же время членом Наблюдательного Совета.
Кастальский был одним из выдающихся представителей нового направления в области русского духовного творчества. Стиль и направление его в этой области носит, по отзывам критики, заметный отпечаток русской национальности. Кастальским издано 28 духовно- музыкальных сочинений, сюита для фортепиано на грузинские темы (Юргенсон). Выдающиеся духовно-музыкальные сочинения Кастальского - "Милость мира" сербского напева, два знаменных распева, Ипатьевская, Невская, "Херувимские песни" - знаменного распева, Старо-Симоновская, Софрониевского, напева Московского Успенского собора, ектения знаменного распева, "Бог Господь" и тропари на Великую субботу.
В 1918 г. Синодальное училище преобразуется в Московскую народную хоровую академию (Кастальский уже с 1910 г. был там директором и остался им при Советской власти). С 1918 г. Кастальский вел активную и разнообразную музыкально-просветительную работу в музыкальных отделах Наркомпроса, Пролеткульта, Политпросвещения, Военкомата Москвы. С 1922 г. профессор московской консерватории. Среди учеников Кастальского композиторы Д.С.Васильев-Буглай, А.А.Давиденко и др.
Кастальский сыграл видную роль в развитии русской хоровой музыки. Автор хоровых обработок народных песен. Кастальскому принадлежат также исследования по русскому народному творчеству.
Умер А.Д.Кастальский 17 декабря 1926 г. в Москве.