La grande sapienza di Gerberto fu all'origine di leggende sinistre, che lo mettevano in relazione con arti magiche e con il demonio. Si credeva che Gerberto avesse un libro di incantesimi rubato a un filosofo arabo in Spagna. Gerberto sarebbe fuggito, inseguito dal derubato che era in grado di rintracciare il ladro tramite le stelle, ma Gerberto si nascose appeso a un ponte di legno dove, sospeso fra cielo e terra, era invisibile al mago. Gerberto avrebbe anche costruito od ottenuto una testa bronzea, che sarebbe stata in grado di rispondere alle sue domande con un "sì" o con un "no". La leggenda voleva inoltre che avesse stipulato un patto con un demone donna chiamato Meridiana, che sarebbe apparsa dopo che egli era stato rifiutato dal suo amore terreno e con l'aiuto del quale avrebbe raggiunto il trono papale (un'altra leggenda narra che Meridiana gli apparve dopo che vinse il papato giocando a dadi con il diavolo). Secondo la leggenda, Meridiana disse a Gerberto che, nel caso avesse celebrato una messa a Gerusalemme, il diavolo sarebbe venuto a prenderlo. Gerberto chiese conferma alla testa di bronzo, che gliela diede. Quindi Gerberto cancellò un pellegrinaggio a Gerusalemme ma, celebrando una messa nella chiesa di Santa Croce in Gerusalemme a Roma (anche chiamata "Chiesa Gerusalemme"), vide all'improvviso Meridiana e capì che la profezia era compiuta. Si sentì male poco dopo e, morendo, chiese ai suoi cardinali di tagliare il suo corpo e di spargerlo per la città, per fargli espiare le sue colpe e salvarsi. In un'altra versione, celebrando la messa, fu attaccato dal diavolo, che lo mutilò e diede gli occhi del papa ai demoni per giocare all'interno della chiesa. Pentendosi, Silvestro, ormai cieco, si tagliò la mano e la lingua per espiare del tutto i suoi peccati, prima di lasciarsi morire. Una parte dell'iscrizione sulla tomba di Gerberto, erettagli da Sergio IV, recita: Iste locus Silvestris membra sepulti venturo Domino conferet ad sonitum ("Questo luogo, all'arrivo del Signore, renderà al suono dell'ultima tromba i resti sepolti di Silvestro"). La traduzione erronea di conferet ad sonitum con "emetterà un suono" diede adito alla curiosa leggenda che le sue ossa sbatacchino subito prima della morte di un papa.