Sedgwick morreu aos 28 anos, em 1971, de overdose de barbitúricos e o filme sugere que Dylan foi responsável pelo suicídio. Assim, o cantor escreveu aos produtores de "Factory Girl", exigindo que o filme não seja lançado (a 29 de Dezembro, como programado) até que se determine se o difama ou não.

Edie Sedgwick e Dylan foram amigos no final dos anos 60. Alguns acreditam que tiveram um "affair", no fim do qual, segundo a versão de "Factory Girl", Edie se tornou viciada em heroína – sem mencionar o nome de Dylan (a personagem no filme chama-se Danny Quinn), estabelece-se uma relação de causa e efeito.

E é assim que Orin Snyder, advogado do cantor, diz ao "New York Times": "É errado pensar-se que só por se mudar o nome de uma personagem ou fazer dela um compósito de várias figuras se fica imune a um processo judicial. Não é assim. Embora o nome do senhor Dylan não seja usado no filme, o retrato que dele é feito é difamatório e uma violação do direito do senhor Dylan à sua imagem pública. Até vermos o filme, pedimos que o seu lançamento e visionamentos sejam cancelados".

No papel de Edie está Sienna Miller, Guy Pearce é Andy Warhol, Hayden Christensen é o tal "Danny Quinn".

Dylan não é o único a protestar. Lou Reed leu o argumento. O veredicto: "Uma das coisas mais nojentas e sujas que já vi escritas – por um anormal iletrado – em muito tempo".