15 мая 1939 Бабель был арестован на даче в Переделкине под Москвой. Писатель обвинялся в «антисоветской заговорщической террористической деятельности в подготовке террористических актов… в отношении руководителей ВКП(б) и Советского правительства. Под пытками Бабель дал ложные показания, но на последнем судебном заседании Военной коллегии Верховного Суда СССР 21 января 1940 отказался от них.
27 января 1940 Бабель был расстрелян, тело его было сожжено в крематории Донского монастыря.
Через 14 лет, в 1954, в заключении военного прокурора подполковника юстиции Долженко о реабилитации Бабеля было сказано: «Что послужило основанием для его ареста из материалов дела не видно, так как постановление на арест было оформлено 23 июня 1939, то есть через 35 дней после ареста Бабеля».
При аресте были изъяты все его рукописи — 24 папки. Как полагает вдова писателя А. Н. Пирожкова (которая с первых дней ареста боролась за Бабеля), это были наброски и планы рассказов, два начатых романа, переводы, дневники, записные книжки, личные письма к жене. Не найдены.