Les Istari survinrent en Terre de Milieu en l'année 1000 du Troisième Âge, mais longtemps ils allèrent vêtus comme de simple mortels, et on voyait seulement en eux des Hommes avancés en âge, bien qu'encore robustes, qui avaient le goût des voyages et de l'errance, se familiarisant avec la Terre du Milieu et tous ceux qui y vivaient sans rien révéler de leurs pouvoirs et de leurs desseins. Cependant, les Hommes remarquèrent qu'ils ne mourraient pas; alors que la mort prenait les pères et les fils des Hommes. Ils se prirent à les craindre; et pourtant ils les aimaient, les tenant pour des êtres de même race que les Elfes.
Les membres de cette confrérie étaient au nombre de cinq. Le dernier venu paraissait le moins considérable de tous, plus petit et plus âgé d'aspect. Il avait de longs cheveux et une longue barbe grisâtres. Il était toujours vêtu d'un long manteau gris et d'un chapeau pointu à larges bords bleu. On le remarquait aussi par ses sourcils très épais et broussailleux. Il se faisait passer aux yeux de la plupart pour un vieux curieux un peu fou qui se déplaçait en s'appuyant sur un long bâton. Les Elfes l'appelaient Mithrandir, "le Pèlerin Gris", ou Gandalf, "l'Elfe au Bâton". Mais dans sa jeunesse dont nul se souvient, on le nommait Olórin.
Il ne semblait pas avoir de résidence fixe. De tous les membres de son ordre, il était le plus proche des gens de la Terre du Milieu. Ils le croyaient tous de la race des Elfes, car il se plaisait parfois à accomplir quelque prodige sous leurs yeux, aimant tout particulièrement la beauté du feu; mais il n'opérait ses miracles que pour le rire et la jouissance que l'on pouvait en tirer, ne souhaitant ni en imposer à quiconque, ni que l'on suive ses conseils par peur.
Il avait l'esprit chaleureux et curieux de toutes choses; car il était l'ennemi de Sauron, opposant au feu qui dévore et désole, le feu qui soulage la tristesse et attise l'espoir défaillant. Mais sa joie restait voilé derrière la grisaille de sa mante grise, de sorte que seuls ceux qui le connaissaient bien, entrevoyaient la flamme qui l'habitait. Il pouvait être gai et bienveillant envers les tous-jeunes et les très-humbles, et cependant acerbe, le cas échéant, et prompt à stigmatiser l'erreur. Mais il était sans morgue aucune et ne recherchait ni le pouvoir ni les éloges ; il était aimé de tous ceux qui étaient eux-même sans gloriole
A son arrivée aux Havres Gris, Cirdan devina en lui une sagacité et une force d'âme peu commune, et il l'accueilit avec révérence. On apprit plus tard que Cirdan lui avait remis le Troisième Anneau, Narya-le-Rouge. Cependant, Saruman le Blanc s'en avisa et le jalousa, et ce fut la source de sa rancune envers le Gris.
En 2063, à la demande du Conseil Blanc, Gandalf s'infiltra dans Dol Guldur pour déterminer l'identité de son seigneur, mais sans succès. Il réssaya en 2850 et découvrit que son maître n'était autre que Sauron. Au cours de cette même visite, il y trouva Thráin II prisonnier et mourant. Ce dernier put lui donner les clés et la carte d'Erebor avant de succomber.
Gandalf pressa alors le Conseil Blanc d'agir au plus vite, mais Saruman s'y opposa et leur conseilla d'attendre et d'observer, car il avait déjà tourner son esprit vers les ténèbres et son coeur les trahissait. Gandalf ne soupçonna rien des desseins du Blanc et patienta quelque temps, puis il obtint finalement l'appui de Saruman qui désirait chasser Sauron pour protéger ses intérêts personnels.
C'est à cette même époque que Gandalf s'intéressa au pays des Periannath, les Hobbits qui vivaient en Eriador. Avec l'aide des rôdeurs du Nord, il fit monter la garde autour de leur pays préssentant que leur rôle serait crucial pour l'avenir. Ses allées et venues dans leur pays n'était pas du goût de toutes les petites-gens. Il acquit très vite le surnom de "Trouble-Paix", ce qui permet de supposer qu'il avait donné un coup de coude aux rares Hobbits qui furent connus pour être partis à l'aventure comme Hildifons et Isengar , deux fils du Vieux Touque. C'est de ses séjours dans la Comté que lui vint son goût prononcé pour l'herbe à pipe.
Il rencontra bientot Thorin Écu-de-chêne, l'héritier de Thráin II. C'est de là que lui vient l'idée de détruire Smaug et de rétablir un royaume puissant en Erebor pour contrer une éventuelle invasion des Hommes de l'Est alliés à Sauron. Pour cette opération, il convainquit Thorin d'engager dans son expédition son ami, le Hobbit Bilbo Sacquet. Le choix d'emmener Bilbo eut des conséquences aussi importantes qu'imprévisibles, car c'est au cours de cette expédition que Bilbo entra par hasard en possession de l'Anneau Unique.
C'est ainsi que l'Anneau se trouva quelque temps dans la Comté, pratiquement sous le nez et la barbe du magicien. Gandalf pressentit rapidement la nature de l'anneau de Bilbo et il fit renforcer la garde à ses frontières. Il persuada finalement Bilbo de céder l'Anneau à son neveu Frodo et conseilla à ce dernier de le garder caché et de ne jamais l'utiliser.
En 3018, étant sûr de la nature de l'Anneau et sentant que Sauron était prêt à passer à l'attaque, il mit en oeuvre le départ de Frodo. Puis Il alla demander conseil à Saruman, mais c'est là que celui-ci révéla sa trahison. Gandalf fut retenu prisonier au sommet d'Orthanc et ce n'est que grâce à l'aide de Gwaihir, le seigneur des Aigles, qu'il parvint à s'échapper. Il tenta alors de prévenir Théoden, le Roi du Rohan, mais ce dernier était déjà sous le charme de Saruman et le chassa, refusant d'entendre ses conseils. C'est là que Gandalf rencontra Gripoil, le plus grand de tous les Mearas de Rohan qui devint sa monture et son compagnon pendant bien des voyages.
De retour à Fondcombe, il fut à l'origine de la création de la Communauté lors du Conseil d'Elrond. Sans en être le chef, il mena les Compagnons jusque dans les mines de la Moria. C'est là qu'il rencontra une créature de l'Ancien Monde, un Balrog connu sous le nom de Fléau de Durin. Gandalf ordonna alors à ses compagnons de se sauver en franchissant l'étroit pont jeté par-dessus l'abîme de Khazad-dûm tandis que lui-même attendait pour retenir le démon. Ils virent alors le Mage frapper le pont de son bâton et le briser. Mais dans sa chute, le Balrog fit tournoyer son fouet et ses lanières vinrent s'enrouler autour des jambes du mage et l'entraînèrent dans l'abîme.
Gandalf ne succomba pas encore et tomba avec le Balrog, bien plus bas que la Terre vivante et jusqu'aux fondements de la pierre. Gandalf poursuivit alors le démon jusqu'au sommet de Zirak-zigil. Lè, le feu du Blarog se raviva et Gandalf dut le combattre longuement jusqu'à ce qu'il put jeté à bas son adversaire qui alla s'écraser dans le vide. Sur cette froide montagne, les étoiles tournoyaient dans le ciel et l'esprit du magicien s'égara à travers le temps et l'espace.
Mais ce n'était pas la fin. Il fut renvoyé pour accomplir sa tâche et il lui fut enfin permis de dévoiler ses véritables pouvoirs. Il apparut alors comme un seigneur de haute noblesse qui s'avança, vêtu de blanc, à la rencontre d'Aragorn, de Legolas et de Gimli dans la Forêt de Fangorn . Blancs également étaient ses cheveux, sa barbe et son bâton. Gandalf Le Gris n'était plus; voici qu'il était revenu riche de puissance sous le nom de Gandalf le Blanc. Il délivra le Roi Théoden du sort dont il était victime et chassa Saruman de l'Ordre des Istari, puis donna des conseils inestimables au Rohan et au Gondor.
Gandalf emmena le Hobbit Pippin à Minas Tirith et assura le commandement des troupes de Gondor lors du Siège de la Cité Blanche. Il s'opposa à la folie du Seigneur Denethor et raviva l'espoir dans le coeur des Hommes. Gandalf brandit Glamdring, l'épée du Roi Turgon que le magicien avait récupéré dans un repaire de Trolls lors du premier voyage de Bilbo. il affronta alors le Roi-Sorcier, le premier lieutenant de Sauron qui brisa son bâton.
Mais cela se révéla insuffisant pour détruire le Cavalier Blanc. Après la victoire des Champs du Pelennor, il élabora la stratégie qui allait causer la défaite de Sauron. Il accompagna l'héritier de Gondor jusque devant la Porte Noire et affronta une dernière fois l'armée de Sauron. Lè tout leur courage fut vain, ils trouvèrent enfin la défaite et la mort, Sauron fut le plus fort. Mais à la fin de toutes choses, se virent aussi vérifiées les paroles de Gandalf et l'aide vint des mains des faibles quand les sages eurent faits défaut.
Après la Guerre, il apporta ses conseils au nouveau Roi du Gondor puis s'embarqua pour les Terres Immortelles.
