Kurt Cobain escreveu Polly após ler no jornal sobre o sequestro, tortura e estupro de uma menina de 14 anos, que conseguiu escapar de seu agressor após conquistar a confiança dele. A letra relata os abusos sofridos pela vítima.