Конец 1919 — начало 1920 Бабель проводит в Одессе, где работает заведующим редакционно-издательским отделом Госиздата Украины. Весной 1920 уходит на фронт в Первую конную армию в качестве корреспондента газеты «Красный кавалерист» под псевдонимом Кирилл Васильевич Лютов, русский. Двигаясь с частями, он писал агитационные статьи, вел дневник военных действий, а также свой личный дневник. Где-то вместе с обозом перемещались его рукописи (многие из них пропали). Сохранилась лишь одна тетрадка — уникальный документ, забытый им в Киеве у переводчицы М.Я. Овруцкой (впервые опубликован в журнале «Дружба народов», 1987, № 12). Уроженкой Киева была его первая жена, художница Е. Б. Гронфайн (дочь крупного киевского промышленника), брак с которой фактически распался в первой половине 1920-х гг.
На фронте Бабель попал в среду казачества. Исконно иррегулярное войско, казачество в царское время проходило военную службу со своим снаряжением, своими конями и военным оружием. Во время конармейского похода оторванные от тылов казаки вынуждены были кормиться сами и сами же обеспечивать себя лошадьми за счет местного населения, что нередко приводило к кровавым стычкам. К тому же казаки шли по местам, где воевали в Первую мировую войну. Их раздражали чужой быт, чужая культура, попытки евреев, поляков, украинцев сохранить свой стабильный уклад жизни. Привычка к войне притупила в них страх смерти, чувство жизни. И казаки давали выход своей усталости, анархизму, гонору, хладнокровному отношению к своей и тем более чужой смерти, пренебрежению к личному достоинству другого человека. Насилие для них было обыденным явленем.
Бабель видел, что в глубине людской психологии жил смутный инстинктивный порыв к свободе и воле. В то же время он остро ощущал незрелость, отсутствие культуры, грубость казачьей массы, и ему трудно было представить себя, как будут прорастать в этом сознании идеи революции.
Пребывание в Первой конной ставило Бабеля в особое положение. Еврей среди казаков, он был обречен на одиночество. Интеллигент, сердце которого содрогалось при виде жестокости и разрушения культуры, он мог быть обречен на одиночество вдвойне. Тем не менее у Бабеля осталось много друзей среди конармейцев. Его ностальгия вырастала из неприятия насилия и разрушения.
«Жалкие деревни. Неотстроенные хижины. Полуголое население. Мы разоряем радикально…» (2 сентября 1920). «Клевань, его дороги, улица, крестьяне и коммунизм далеко друг от друга» (11 июля 1920); «… Так выглядит сначала свобода»(12 июля 1920). Бабель реагировал на все это обостренно: «Впереди нет исхода»(12 июля 1920).
Судя по дневнику, в душе Бабеля рождался клубок сложных мыслей и чувств. В его отношениях с революцией, говоря словами А. Блока, возникла трагическая «нераздельность и неслиянность».