Após uma confusão na Copa do Mundo de 1966, a FIFA implantou os cartões amarelo e vermelho. Em um jogo entre Argentina e Inglaterra, o capitão argentino Rattín contestou a marcação de uma falta com o árbitro alemão Rudolf Kreitlein. O juiz considerou a reclamação acintosa e expulsou o argentino. Rudolf utilizou gestos para indicar que Rattín havia sido expulso, mas o argentino não entendeu e negou-se a sair de campo.
Inspirado nas cores do semáforo — amarelo para reduzir velocidade e vermelho para parar —, o chefe dos árbitros na Copa de 1970, o inglês Keen Aston, teve a ideia de usar cores para sinalizar as penalidades. Antes disso, os árbitros usavam apenas o apito, voz e gestos para fazer as marcações.