С публикацией рассказов из цикла «Конармия» творчество Бабеля стало предметом серьезных споров. Блюстители «казарменного порядка» в литературе с самого начала считали «Конармию» «поэзией бандитизма», клеветой на Красную Армию (Н. Вежнев. Бабизм Бабеля из «Красной Нови». Октябрь, 1924, №3). Благожелательные критики, защищая Бабеля, считали, что писателю важнее всего было «выразить свое художественное мироощущение» (А. К. Воронский).
Бабель объяснял, что создание героической истории Первой конной не входило в его намерения. Но споры не утихали. В 1928 «Конармия» вновь была обстреляна с позиций, как говорил Бабель, «унтер-офицерского марксизма»: возмущение отповедью Горького, взявшего Бабеля под свою защиту, «Правда» напечатала открытое письмо С. М. Буденного Горькому, где Бабель был вновь обвинен в клевете на Первую конную. Горький не отрекся от Бабеля (их дружба продолжалась и в 1930-е). Напряжение вокруг имени Бабеля сохранялось, хотя «Конармия» непрерывно переиздавалась (в 1930 очередное издание разошлось в течение семи дней, и Госиздат приступил к подготовке очередного выпуска).