La storia della diocesi si intreccia strettamente con la storia stessa di Andria, dalla prima menzione nelle fonti documentarie del locus Andre come casale dotato di una chiesa retta da un arciprete sotto la giurisdizione del vescovo di Trani, a partire dal IX-X secolo. A conferma di tale presenza vi è l'attuale cripta della cattedrale, in origine chiesa di superficie, di età pre-normanna. Divenuta civitas autonoma e, nel 1073, contea normanna, non si hanno notizie certe circa la presenza di una sede episcopale, almeno fino al XII secolo, quando le fonti fanno riferimento a due vescovi di Andria, Leone e Riccardo, sicuramente il prelato di origine inglese che resse il trono vescovile per un quarantennio guadagnandosi ben presto la fama di santità. In età sveva la costruzione di Castel del Monte e la sepoltura di due delle mogli dell'imperatore Federico II nella cripta della cattedrale documentano il legame della città con la casata sveva. La dominazione angioina, subentrata agli svevi, vide giungere ad Andria Beatrice d'Angiò, sposa del duca Bertrando Del Balzo, che portò in dote la Sacra Spina della corona di Cristo, donata al capitolo della cattedrale di Andria.
Sotto i Del Balzo, nel 1398, si insediavano ad Andria i domenicani, che costruivano il quarto grande convento, dopo quello dei francescani conventuali (l'attuale Palazzo di Città), quello dei francescani osservanti di Santa Maria Vetere, e quello degli agostiniani.
Il 1431 il ducato passò a Francesco II, a cui si deve il ritrovamento del corpo di san Riccardo, che determinò la ripresa del culto del santo e il suo riconoscimento come patrono della città.
Con l'avvento degli spagnoli nel Regno di Napoli, Andria passò nelle mani dei Carafa, conti di Ruvo. Le continue lotte per il predominio politico ed economico tra i Carafa e i vescovi della città animarono la vita cittadina fino alla fine del Settecento, mentre Andria si espandeva fuori le mura, anche in relazione alla presenza di importanti insediamenti conventuali. Degne di nota in questo periodo sono la costruzione nel 1563 dell'imponente convento delle benedettine in piazza Duomo (demolito in epoca fascista), destinato alla educazione delle fanciulle appartenenti alle famiglie dei notabili di Andria; la scoperta nel 1576 della immagine della Madonna dei Miracoli e la costruzione della basilica omonima e del convento benedettino; la costruzione del santuario di Santa Maria dell'Altomare, in seguito al ritrovamento miracoloso di un'altra immagine della Madonna.

Particolarmente drammatici per Andria furono gli eventi a cavallo tra il XVIII ed il XIX secolo, con la discesa dell'esercito francese e il violentissimo e distruttivo assedio della città da parte dei francesi.
Al ritorno dei Borbone a Napoli dopo la breve parentesi del regno di Gioacchino Murat, alla diocesi di Andria venivano unite Canosa e Minervino.
L'Ottocento segnò un forte impulso alla riorganizzazione pastorale della diocesi, con la istituzione di nuove parrocchie, particolarmente durante gli episcopati dei vescovi Domenico Bolognese (1822-1830), Giuseppe Cosenza (1832-1850) e Giovanni Giuseppe Longobardi (1852-1870).
La diocesi di Andria riunisce attualmente tre diocesi in origine distinte tra loro: Andria, Canosa di Puglia e Minervino Murge