Epris de luxe, il devait entretenir une cour fastueuse fréquentée par de nombreux prélats, princes, lettrés et artistes. L’ancien palais épiscopal avait été acheté et reconstruit par Benoît XII ; Clément VI le fit achever par l’architecte Jean de Louvres, originaire d’Ile de France, et le fit orner de peintures notamment par Matteo Giovannetti de Viterbe. Les solliciteurs affluaient de toute la chrétienté pour quémander des bénéfices ecclésiastiques qu’il accordait avec une grande largesse.
En 1348, le pape qui jusque là n’était toujours pas chez lui à Avignon, acquit la ville de Jeanne, reine de Sicile et comtesse de Provence ; celle-ci avait peut-être à se faire pardonner une certaine complicité dans l’assassinat d’André de Hongrie, son mari. La prise de possession officielle de la ville par le souverain pontife fut cependant retardée car la période faste du règne venait de se terminer.
En effet, une terrible épidémie de peste noire s’était abattue sur la Provence et atteignait Avignon (1348) où elle fit des milliers de morts ; il est vraisemblable que le tiers de la population disparut alors. Quelques témoignages décrivent la terreur qui s’empara des habitants ; l’on n’osait même plus s’occuper de ses proches malades. Si la plupart des cardinaux se retirèrent alors à la campagne pour éviter la contagion, Clément VI, faisant preuve d’un grand courage, tint à demeurer à Avignon, il institua une messe pour demander la cessation du fléau, paya des médecins pour soigner les malades et il protégea les juifs que la rumeur publique accusait d’avoir propagé l’épidémie. Les prêtres eux-mêmes n’osaient parfois plus se rendre au chevet des mourants et l’on ouvrit en dehors de la ville, au lieudit Champfleury un cimetière destiné à recevoir les cadavres que l’on y déversait à la hâte. Au bout de plusieurs mois la maladie s’éteignit enfin, laissant la ville exsangue et désorganisée ; elle devait cependant revenir en 1361 sous le pontificat d’Innocent VI et fit encore beaucoup de victimes dont neuf cardinaux.
Après la mort de Clément VI (6 décembre 1352), les cardinaux élurent le 18 décembre le jurisconsulte Etienne Aubert, cardinal depuis 1342 et grand pénitencier, homme droit mais quelque peu naïf et indécis. Il s’efforça de réformer les ordres religieux tels les Franciscains toujours partagés entre Spirituels et Fraticelles, la piété de ces derniers confi nant parfois à l’extravagance, les Frères Prêcheurs en révolte contre les réformes que voulait leur imposer avec raison leur grand maître, ou les Hospitaliers de St-Jean de Jérusalem. En Italie, la situation de l’Etat pontifical était toujours aussi difficile ; le pape trouva cependant un excellent collaborateur en la personne du cardinal Albornoz pour reconquérir et administrer ces provinces.
En France sévissait depuis une dizaine d’années la guerre de Cent Ans ; les trêves négociées à plusieurs reprises par les légats pontificaux n’eurent guère de résultats. Après la défaite des Français à Poitiers, les troupes de soudards licenciés se répandirent un peu partout, pillant et saccageant tout sur leur passage ; Avignon et ses environs avaient été jusque là épargnés lorsque brusquement arriva une troupe ayant à sa tête l’archiprêtre Arnaud de Cervoles qui prit Lagnes et Cabrières ; l’on dut acheter son départ moyennant finances ; mais Avignon se sentit encore bien plus menacée lorsque des routiers s’emparèrent de Pont-Saint-Esprit à la fin de 1360.
Les premières mesures de protection concernèrent le palais, dépenses consacrées à la défense du palais et de la ville : achats d’armes, fabrication de « machines » ; pour certains engins l’on aurait même employé dès 1355 de la poudre. Mais la grosse affaire, ce fut la protection de la ville ; l’on commença à réparer sommairement l’ancienne enceinte qui était en piètre état mais la ville s’était agrandie et débordait largement de ces vieux murs ; à la demande d’Innocent VI un nouveau plan fut dressé qui englobait l’hôpital fondé par Rascas, les nouveaux quartiers des bourgs ainsi que des terrains conservés en jardins.
Mais ces travaux nécessitaient des sommes d’argent considérables que le pape n’entendait pas ou ne pouvait pas supporter ; il fit cependant à plusieurs reprises des avances très importantes qui durent être par la suite intégralement remboursées ; pour le reste l’on s’en remettait à la ville et à ses habitants c’est-à-dire aux deux communautés de citoyens et de courtisans ; celles-ci s’organisèrent en instituant des « tailles », impôts prélevés
directement sur les contribuables mais l’on eut surtout recours à des « gabelles », impôts indirects sur les denrées et marchandises entrant en ville : gabelle des marchandises, gabelle du sel et surtout gabelle du vin : les deux premières rapportèrent relativement peu mais la troisième fut plus fructueuse et permit la construction de l’enceinte qui est parvenue jusqu’à nos jours ; pour que la perception de la gabelle du vin parut moins pénible, l’on avait été jusqu’à diminuer d’un huitième, la capacité des pichets servis dans les tavernes : les clients ne payaient pas plus mais ils buvaient moins !
Commencée sous Innocent VI, la construction de l’enceinte se poursuivit sous Urbain V et ne fut terminée que sous Grégoire XI.
Après la mort d’Innocent VI (12 septembre 1362), faute de s’accorder sur le nom d’un cardinal, le conclave élut Guillaume Grimoard, abbé de St-Victor de Marseille qui prit le nom d’Urbain V ; très pieux – il fut béatifié en 1870 -, celui-ci, sans négliger les devoirs de sa charge, devait continuer de mener au palais la vie d’un moine bénédictin. Il éprouvait quelque défiance envers les cardinaux et il tenta de réformer le clergé en le rappelant à ses devoirs et en particulier en l’obligeant à la résidence et en luttant contre le cumul. Il encouragea vivement les études, créant plusieurs petits collèges préparatoires à l’université et fonda à Montpellier les collèges de Saint-Benoit et des Douze Médecins. En Italie la situation des Etats pontificaux s’améliorait grâce à l’action du cardinal Albornoz qu’Urbain V eut le tort de remplacer par le médiocre Androin de la Roche. Brusquement en juin 1366, le pape annonça sa décision de ramener la papauté à Rome, auprès de la tombe de saint Pierre ; malgré l’opposition des cardinaux et de la cour de France, il quitta Avignon le 30 avril 1367, s’embarqua à Marseille et fit une entrée solennelle à Rome le 16 octobre sous les acclamations de la foule. Mais le séjour romain s’avéra un échec ; Urbain V décida de quitter Rome pour tenter de réconcilier la France et l’Angleterre entre qui les hostilités avaient repris ; il entra à Avignon le 27 septembre 1370 mais s’y éteignit bientôt le 19 décembre.
Le 30 décembre 1370 les cardinaux élisaient Pierre Roger de Beaufort, neveu de Clément VI, devenu cardinal à l’âge de dix-huit ans et qui n’était même pas encore prêtre ; Grégoire XI revint à une politique plus traditionnelle et rendit sa confiance au collège cardinalice, créant 21 cardinaux en deux promotions, dont plusieurs parents et familiers. En Italie, Bernabo Visconti menaçait les possessions pontificales ; mais défait en Piémont et Lombardie, il traita à Bologne en 1375. Mais à la suite d’une grave disette, Florence fomenta une révolte qui gagna une partie des Etats pontificaux ; des routiers sous la conduite du légat, le cardinal Robert de Genève, et du capitaine John Hawkwood, massacrèrent les populations de Césène et de Bolsena ; la médiation de Bernabo Visconti aboutit cependant à la paix.
Entre temps, Grégoire XI avait quitté Avignon pour Rome ; annoncé dès le début du pontificat, ce retour avait été remis à plusieurs reprises ; une visite de Catherine de Sienne à Avignon, si elle ne fut pas comme on l’a souvent dit, à l’origine de cette décision, encouragea le pape à ce départ qui eut lieu le 13 septembre 1376 ; après un voyage rendu difficile par des tempêtes, Grégoire XI entra à Rome le 17 janvier 1377, mais il mourut dans la nuit du 25 au 26 mars 1378.
Le conclave se réunit à Rome dans une atmosphère houleuse, la foule réclamant un pape « romain ou au moins italien ». Le choix des cardinaux se porta sur un personnage relativement modeste, l’archevêque de Bari Barthélemi Prignano, responsable de la chancellerie à la place du vice-chancelier demeuré à Avignon, qui prit le nom d’Urbain VI. Si celui-ci s’était montré modéré et accommodant, il n’y aurait peut-être pas eu de contestation ; mais bientôt il fit preuve d’une telle violence tant dans ses tentatives brouillonnes de réforme que vis-à-vis des cardinaux à qui il adressait de vifs reproches sur leur train de vie luxueux et qu’il malmenait à l’occasion, que ceux-ci s’interrogèrent sur la légitimité d’un choix fait sous la pression du peuple ; retirés à Fondi, ils proclamèrent en août la nullité de l’élection d’Urbain VI ; le 20 septembre, ils élurent le cardinal Robert de Genève, qui devint Clément VII ; celui-ci ne put se maintenir en Italie et retourna à Avignon en mai 1379.
S’ouvrit alors une grave crise pour la chrétienté qui se trouva divisée en deux, chaque moitié se prononçant en faveur de l’un des papes. Si Clément VII soutenu par la France se maintint à peu près dans le cadre qu’avaient connu ses prédécesseurs avec cependant des revenus fortement diminués, ni lui ni ses compétiteurs, en dépit des nombreuses tractations organisées par les souverains, les prélats et les universités, ne purent emporter l’obédience de la totalité de la chrétienté ; et Benoît XIII (l’aragonais Pedro de Luna, élu en 1394) ayant perdu la confiance de la ville, abandonné d’une grande partie de ses partisans, s’enfuit d’Avignon en 1401. Ce Grand Schisme, encore aggravé en 1409 par l’élection d’un troisième pape, devait toutefois se poursuivre au grand dam de l’Eglise jusqu’en 1416 où un concile réuni à Constance parvint après beaucoup de difficultés à regrouper l’ensemble de la chrétienté sous la houlette du pape Martin V.