Dopo aver frequentato le scuole del Seminario Arcivescovile e poi del Seminario Regionale di Benevento, il giovane Giuseppe si trasferì a Roma, per completare la sua formazione nell'Università Gregoriana e poi nella Pontificia Accademia Ecclesiastica, in vista della carriera diplomatica.

Ordinato sacerdote il 17 dicembre 1938, dapprima trascorse un periodo di servizio presso la Segreteria di Stato; poi, nel 1947, fu inviato presso l'Internunziatura Apostolica di Cina, dove rimase fino al settembre 1951 quando fu espulso dai comunisti, dopo aver sofferto tre mesi di domicilio coatto. Per piu di tre anni fu Uditore nella Nunziatura Apostolica in Belgio; quindi Visitatore e poi Reggente della Delegazione Apostolica in Vietnam meridionale. Promosso Internunzio in Cina con residenza a Formosa nel 1959, il 14 ottobre 1961 veniva eletto Arcivescovo titolare di Apollonia da Papa Giovanni XXIII. Il 17 dicembre dello stesso anno riceveva l'ordinazione episcopale a Benevento, dalle mani del Cardinale Gregorio Pietro Agagianian, allora Prefetto della Sacra Congregazione di Propaganda Fide. Nel 1967 fu nominato Pro-Nunzio Apostolico in India. 

Al servizio dei Pontefici, ha ricoperto vari incarichi di responsabilità e svolto numerose missioni impegnative. Ricordiamo, per esempio, la sua partecipazione, come capo della delegazione della Santa Sede, alla seconda Conferenza delle Nazioni Unite per il commercio e lo sviluppo (U.N.C.T.A.D.), svoltasi nel febbraio 1968 a Nuova Delhi. 

Nell'aprile del 1969 Paolo VI chiamava l'Arcivescovo Caprio alla responsabilità di Segretario dell'Amministrazione del Patrimonio della Sede Apostolica, dimostrando cosi il suo apprezzamento non solo per la specifica competenza del Presule nel campo amministrativo, ma anche - come ebbe a dire il Cardinale Villot durante la Cerimonia dell'insediamento - per la visione d'insieme dei problemi della Chiesa, e la preoccupazione costante di considerare gli aspetti tecnici nella loro relazione con gli interessi superiori, in piena adesione con lo spirito del Concilio. 

Otto anni dopo, Paolo VI affidava a Monsignor Caprio l'importante e delicato ufficio di Sostituto della Segreteria di Stato. Era il 14 giugno 1977; qualche tempo dopo il Presule venive inoltre annoverato tra i Consultori delle Congregazioni per la Dottrina della Fede e per i Vescovi, nonchè della Pontificia Commissione per la Revisione del Codice di Diritto Canonico. Nella veste di Sostituto della Segreteria di Stato, ha servito con generosa dedizione la Chiesa, nel cuore del governo centrale della Santa Sede, negli ultimi mesi di pontificato di Paolo VI e nei tempi difficili delle due Sedi Vacanti dell'anno 1978, nonchè nel pontificato di Giovanni Paolo I e nel primo periodo del pontificato di Giovanni Paolo II. Il Presule fu accanto a Paolo VI fino all'ultimo, e ne rievocò con accenti commossi l'indimenticabile opera il 20 agosto, nell'Omelia pronunciata durante il novendiale della Curia Romana. "La nostra preghiera -disse tra l'altro - vuol essere il tributo di affetto al grande Pontefice che ci ha scelti e che abbiamo servito; ma vuol anche essere il riaffermato impegno di far onore, ora e in avvenire, a quanto egli ha definito 'la vocazione della Curia all'esemplarità, in faccia alla Chiesa intera e al mondo profano'. L'esemplarità della nostra vita e del nostro servizio ecclesiale è la promessa di fedeltà che commossi deponiamo, come estremo saluto, sulla tomba del Papa, che tanto ci ha amati". 

Il 29 agosto il Successore, Giovanni Paolo I, confermava Mons. Caprio nella carica di Sostituto. Venuto a mancare anche Papa Luciani, il Presule - il 7 ottobre - ne ricordò ai Novendiali la figura luminosa, invitando i fedeli a leggere negli straordinari eventi di quei mesi i "segni dei tempi" come eccezionali insegnamenti del Signore. "Beati noi - disse - se sapremo approfondirli, e seguirne fedelmente le orme nel lavoro spesso nascosto e ignorato che svolgiamo al servizio della Chiesa". 

Per un'ulteriore fase di questo servizio, Giovanni Paolo II lo designava, il 30 aprile 1979, come massimo responsabile dell'Amministrazione del Patrimonio della Sede Apostolica.

Da Giovanni Paolo II creato e pubblicato Cardinale nel Concistoro del 30 giugno 1979, del Titolo di Santa Maria della Vittoria. (Già Protodiacono di Santa Maria Ausiliatrice in Via Tuscolana fino al 26 novembre 1990) 

Il 30 gennaio 1981 veniva nominato Presidente della Prefettura degli Affari Economici della Santa Sede, incarico mantenuto fino al 22 gennaio 1990. 

Dal 15 novembre 1988 è stato Gran Maestro dell'Ordine Equestre del Santo Sepolcro di Gerusalemme (fino al 21 dicembre 1995). 

Il 26 novembre 1990 fu trasferito, all’interno del Collegio Cardinalizio, dall’Ordine dei Diaconi all’Ordine dei Preti.

Muore a 90 anni alla CITTA’ DEL VATICANO, sabato 15 ottobre 2005

Martedì 18 ottobre 2005 alle ore 11, durante la Liturgia esequiale celebrata nella Basilica di San Pietro, Benedetto XVI ha ricordato la forte vocazione sacerdotale del porporato e il solerte servizio da lui prestato nella diplomazia vaticana.

Gran Maestro emerito dell’Ordine Equestre del Santo Sepolcro di Gerusalemme e Presidente emerito della Prefettura degli Affari Economici della Santa Sede, il Cardinale Caprio fu infatti stretto collaboratore di ben cinque Papi.

“Non sia turbato il vostro cuore… Io vado a prepararvi un posto” (Gv 14,1.2). Le parole del Signore Gesù ci illuminano e ci confortano, cari e venerati Fratelli, in quest’ora di mesta preghiera, che ci vede riuniti intorno alle spoglie mortali del compianto Cardinale Giuseppe Caprio, queste sono state le parole pronunciate da  Benedetto XVI, nel suo testamento aggiunse –” ritroviamo la serena fiducia a cui Cristo invita i suoi discepoli. Proprio all’inizio egli scrive: ‘Ringrazio la SS.ma Trinità di avermi creato, redento e fatto nascere in una famiglia povera di mezzi materiali, ma ricca di virtù cristiane, che fin dai primi anni della mia fanciullezza mi ha insegnato ad amare Dio ed ubbidire alla sua santa legge’”. “Ringrazio la Santissima Trinità…”: non c’è forse in queste parole come la sintesi della vita di un cristiano?, commentò il Pontefice.

E' sepolto nella chiesa di santa Caterina V.M. di Lapio.