Nel 1929, a 26 anni, Joe Valachi viene arrestato e condotto nel carcere di Sing Sing, dove fa la conoscenza di Tony Bender, grazie al quale inizia la sua carriera criminale nella mafia. Dopo essere uscito di prigione infatti, insieme a Bender viene incaricato di uccidere un mafioso, poi dopo aver giurato fedeltà a Cosa Nostra, inizia a lavorare come autista di Gaetano Reina, prendendo parte alla faida promossa da Joe Masseria, Vito Genovese e Lucky Luciano contro la cosca napoletana.