A história, narrada em primeira pessoa por um amigo da família, começa com um episódio aparentemente banal: o funcionário público Ivan Matviéitch, sua esposa Elena Ivânovna e o narrador visitam uma exposição na Passagem de São Petersburgo, onde um crocodilo vivo é exibido por um alemão. Por um descuido, Ivan Matviéitch inclina-se sobre o tanque e é tragado vivo pelo réptil. Para espanto geral, ele não morre; sua voz abafada sai do interior do animal, revelando que sobreviveu e está relativamente confortável.
A partir desse momento absurdo, Dostoiévski constrói uma sátira mordaz. Em vez de pedir socorro, Ivan Matviéitch vê na sua desgraça uma oportunidade única. Ele se considera agora uma celebridade, uma “cátedra” ambulante, capaz de instruir a multidão que acorre para vê-lo. Dentro do crocodilo – que ele descreve como um espaço oco e elástico, sem vísceras –, ele planeja ditar teorias sociais, econômicas e filosóficas, tornar-se um novo Fourier ou Sócrates, e transformar sua esposa numa anfitriã literária. A vaidade e o delírio de grandeza do funcionário público são expostos de forma caricatural.
Enquanto isso, o dono alemão do crocodilo, movido pelo lucro, recusa-se a abrir o animal para resgatar Ivan, pois o espetáculo atrai cada vez mais público e ele pode cobrar ingressos mais caros. A esposa, Elena Ivânovna, alterna entre a preocupação e a vaidade, e o narrador tenta interceder junto a Timofei Siemiónitch, um colega burocrata, que oferece conselhos ridículos: “abafar o caso”, esperar, negociar o preço do crocodilo. A burocracia russa é retratada como inerte e indiferente ao sofrimento humano.
O clímax da sátira ocorre quando o narrador pergunta quanto custaria comprar o crocodilo, e o alemão exige cinquenta mil rublos, uma casa de pedra, uma farmácia e a patente de coronel – tudo justificado porque o animal agora contém um "Hofrat" (conselheiro) vivo. Ivan Matviéitch aprova a exigência, vendo nela a aplicação do “princípio econômico”. A história termina em aberto, com Ivan planejando ditar suas ideias ao narrador todas as noites, enquanto o dono do crocodilo lucra com a curiosidade pública.