На исходе борьбы Красной Армии с Польшей в 1920 переболевший тифом Бабель вернулся в Одессу. Вскоре он начал писать о революции. Материалом стал опыт, приобретенный во время конармейского похода. В 1922-1923 на страницах городских газет и журналов («Вечерний выпуск Известий», «Силуэты», «Моряк», «Лава» и др.) были опубликованы его рассказы, стилизованные под описание «Первой Конной» («Грищук»), а также частью «Одесские рассказы» («Король»). После знакомства в 1923 в Одессе с Маяковским Бабель печатается в Москве в журналах «Леф», «Красная новь», «Прожектор» и др.
Склонный к метафорическому мышлению, уверенный в том, что стиль держится «сцеплением отдельных частиц», Бабель написал в одном из рассказов: «И мы услышали великое безмолвие рубки». Он сознательно пренебрег привычными представлениями, где рубка не могла быть великой, пренебрег и реальностью, где рубка могла только казаться безмолвной. Родившийся художественный образ был метафорой революции в «Конармии».
Завороженность силой масс, оказавшаяся потом, в 1930-е гг., губительной для его сознания и судьбы, в годы, когда шла работа над «Конармией», выступила как всеохватывающий интерес к раскрепощенным, вольным, первозданным силам жизни. Конармейцы походили на блоковскую «голытьбу», что «без имени святого» «ко всему готова» («ничего не жаль») — шла «вдаль», но они же были явно героизированы. Воображение читателя поражал их наивно-простодушный и наивно-жестокий взгляд на мир, было неясно, радуют они или пугают автора.
Обогатившись опытом реальной жизни, действительно увидев в революции не только силу, но и «слезы и кровь», Бабель в рассказах отвечал на вопрос, который в дни польского похода записал в своем дневнике: «Что такое наш казак?» Находя в казаке и «барахольство», и «революционность», и «звериную жестокость», Бабель в «Конармии» все переплавил в одном тигле, и казаки предстали как художественные характеры с нерасторжимостью их внутренне сплетенных противоречивых свойств. Доминантой стало изображение персонажей конармейцев изнутри, с помощью их собственных голосов. Писателя интересовало их самосознание.В такой сказовой стилистике были написаны новеллы «Соль», «Измена», «Жизнеописание Павличенки, Матвея Родионовича», «Письмо» и др.
Много новелл было написано от имени интеллигентного рассказчика Лютова. Его одиночество, его отчужденность, его содрогающееся при виде жестокости сердце, его стремление слиться с массой, которая грубее, чем он, но и победительнее, его любопытство, его внешний вид — все это биографически напоминало Бабеля 1920 года. Дуэт голосов — автора и Лютова — организован так, что читатель всегда чувствует призвук непосредственного голоса реального автора. Исповедальная интонация в высказывании от первого лица усиливает иллюзию интимности, способствует отождествлению рассказчика с автором. И уже непонятно, кто же — Лютов или Бабель — говорит о себе: «Я изнемог и согребенный под могильной кроной пошел вперед, вымаливая у судьбы простейшее из умений — умение убить человека».
Бабель сочувствует Лютову, как может сочувствовать человек себе прежнему. Однако к своему романтизму Бабель уже относится отчужденно-иронически. Это и создает дистанцию между Лютовым и автором. Дистанция существует и между Лютовым и конармейцами. Благодаря освещению в разных зеркалах — зеркале самовыражения, самопознания, в зеркале другого сознания — характеры конармейцев и Лютова приобретают объем больший, чем если бы каждый из них находился только наедине со своим «я». Становится ясным, что истоки поведения конармейцев лежат в сфере бытовой, физиологической, социально-исторической, в опыте многовековой истории и в ситуации войны и революции.
Бабель хотел найти форму для воплощения временного и вечного в революции, понять связь индивидуального, социального и экзистенциального. Он нашел ее в многосложности притчи с ее иносказательным смыслом, скрытым в глубине повествования, с ее философствованием, которое, на первый взгляд, кажется непритязательным и наивным («Гедали», «Пан Аполек», «Путь в Броды» и др.). Подобно многим другим, Бабель воспринимал революцию как «пересечение миллионной первобытности» и «могучего, мощного потока жизни». Но трагическим фоном через всю «Конармию» проходит невозможность слиться, отождествиться с новой силой. Потому-то горькая фраза рассказчика «Летопись будничных злодеяний теснит меня неутомимо, как порок сердца» и воспринималась читателями как стон, вырвавшийся из души самого писателя.