L'ecclesiologia è un altro caposaldo della dottrina agostiniana singolarmente ricco e moderno. Agostino approfondì la natura della Chiesa nelle controversie manichea e donatista: nella prima la studiò come fatto storico e motivo di credibilità, nella seconda come comunione e corpo mistico di Cristo. Le difficoltà che alcuni trovano nell'interpretarne il pensiero nasce dalla realtà complessa e misteriosa della Chiesa stessa, una realtà storica insieme ed escatologica, gerarchica e spirituale, visibile ed invisibile, che egli tiene sempre presente. Parla perciò della Chiesa intendendo o la comunità dei fedeli edificata sul fondamento degli Apostoli, o la comunità dei giusti peregrinanti nel mondo da Abele sino alla fine del tempo, o infine la comunità dei predestinati viventi nell'immortalità beata. Occorre distinguere ed unire, come fa appunto il nostro dottore.
Seguendo il primo significato ne difese l'unità e l'universalità, l'apostolicità e la santità. Fu prima di tutto apostolo e teologo dell'unità, che suppone, quando è piena, la comunione di fede, di sacramenti e di amore. A questa triplice comunione si oppone perciò l'eresia, lo scisma e il peccato, che è sempre una mancanza d'amore. Eretico non è chi erra nella fede 1, ma chi " resiste alla dottrina cattolica a lui manifesta " 2, cioè resiste alla " regola della fede " proposta dalla Chiesa 3. Questa " regola " risuona nel simbolo battesimale 4, nei concili " che hanno nella Chiesa un'autorità sommamente salutare " 5 e nella " Sede di Pietro ", " nella quale fu sempre in vigore il primato della cattedra apostolica " 6. A questa cattedra Agostino ricorse sia per riconoscere " con maggior certezza e salutare utilità " la vera Chiesa 7, sia per dirimere con autorità questioni dottrinali 8.
Sulla comunione dei sacramenti, cioè sulla Chiesa raccolta nell'unità dai segni sacramentali 9, risolvendo l'antico problema posto da Cipriano, diede un contributo decisivo alla teologia ecclesiologica e sacramentaria: distinse tra sacramento valido e sacramento fruttuoso, e dimostrò che il battesimo (lo stesso si deve dire per l'ordine sacro) è valido anche fuori della Chiesa; ma è fruttuoso solo nella Chiesa: " altro è non averlo, altro non averlo utilmente " 10.
Ragione del primo asserto è che " il battesimo è tale per santità e verità propria, a causa di Colui che lo ha istituito " 11 e ne è il ministro principale 12, e del quale imprime il carattere 13.
Ragione del secondo è che non può avere la grazia propria del battesimo chi non ha la carità; ma non ha la carità chi lacera l'unità: " Non hanno la carità di Dio coloro che non amano l'unità della Chiesa " 14.
A questo punto si apre un altro problema: quello della presenza dei peccatori nella Chiesa, poiché la Chiesa non è solo comunione di sacramenti, ma anche comunione di santi. Su questo difficile argomento difende ed illustra, di nuovo, due affermazioni: a) la Chiesa è santa, ma ciò non impedisce che in essa ci siano i peccatori: è un corpo " misto "; b) i peccatori non contaminano la virtù dei buoni 15, anche se questi peccatori fossero i ministri stessi della Chiesa: " ...ho detto spesso e ripeto insistentemente: qualunque cosa noi siamo, voi siete sicuri; voi che avete Dio per Padre e la Chiesa per Madre " 16.
Questa dottrina, e quelle esposte sopra, si fondano su due altre che costituiscono il cuore dell'ecclesiologia di Agostino: una cristologica, quella del Cristo totale, per cui Cristo, come Capo, è sempre presente ed operante nella Chiesa, che è il suo corpo: la Chiesa e Cristo non sono che una sola persona 17; un'altra pneumatologica, quella dello Spirito Santo anima del corpo mistico 18 per cui il principio " della comunione che costituisce l'unità della Chiesa di Dio " è Colui che in Dio è la " comunione del Padre e del Figlio " 19. Perciò " solo la Chiesa cattolica è corpo di Cristo... Fuori di questo corpo nessuno è vivificato dallo Spirito Santo " 20. Agostino pensa a chi è fuori della Chiesa consapevolmente, nel qual caso " può aver tutto fuorché la salvezza " 21.
Ma la Chiesa ha dimensioni più vaste di quelle istituzionali: percorre tutti i tempi, si protende verso l'eternità e trova in quella il suo compimento. Solo allora infatti sarà " senza macchia e senza ruga " 22 perché solo allora i peccatori, anche esteriormente, saranno separati dai giusti 23. La Chiesa dunque è di natura essenzialmente escatologica, anche se non esclusivamente; com'è appunto la giustificazione cristiana 24 di cui è portatrice. Perciò la descrive spesso come la comunità dei giusti o il popolo di Dio che percorre e scrive la storia della salvezza. " Così in questo mondo, in questi giorni cattivi, non solo dal tempo della presenza corporale di Cristo..., ma dal tempo stesso di Abele, il primo giusto ucciso dall'empio fratello, sino alla fine di questo mondo, la Chiesa percorre il suo pellegrinaggio tra le persecuzioni del mondo e le consolazioni di Dio " 25.
Altre volte la vede come la comunità degli eletti comprendente tutti e solo i predestinati 26. A causa di questa visione, congeniale alla sua mentalità filosofica, qualche volta sembra dire che i peccatori siano nella Chiesa solo " in apparenza " 27 o che i giusti che non perseverano non siano figli di Dio; ma non si può dubitare che per lui i primi sono realmente " nel seno della Chiesa " 28, nel suo " interno " 29, che vivono nella stessa " congregazione " sotto lo " stesso pastore " 30, " inseriti nella stessa comunione cattolica " 31; e che i secondi, finché sono giusti, hanno realmente la giustizia, sono cioè figli di Dio, anche se Dio prevede che non lo saranno sempre 32. Come non si può dubitare che la Chiesa già qui in terra sia il regno di Dio, anche se in modo non ancora perfetto: " dove ci sono le due categorie (cattivi e buoni), è la Chiesa del presente; dove c'è solo la seconda, è la Chiesa del futuro... Dunque anche nel presente la Chiesa è il regno di Cristo e il regno dei cieli " 33. Perciò due tempi della stessa Chiesa 34, non due chiese 35. Agostino lo ripete con insistenza.
Concludendo si può dire che ebbe il grande merito di analizzare e definire i rapporti reciproci di quattro realtà essenziali alla salvezza: la fede, la Chiesa, i sacramenti, la carità; creando quella sintesi che servì da guida alla teologia posteriore.