Родился в состоятельной еврейской семье (отец был средней руки торговцем) на Молдаванке (одесский район, известный своим налетчиками). Одесса как морской порт была городом разных языков и национальностей. В ней было 30 типографий, которые выпускали более 600 оригинальных изданий в год: 79% составляли русские книги, 21% процент — книги на других языках, 5% — на еврейском. В 1903 был отдан в Коммерческое училище им. графа С. Ю. Витте в Николаеве (где недолго жила семья). Потом — в Одесское Коммерческое училище им. императора Николая I. которое окончил в 1911. Изучал иврит, Библию, Талмуд; у известного музыканта П. С. Столярского учился игре на скрипке. К 13-14 годам Бабель прочел 11 томов «Истории государства Российского» Н. М. Карамзина, произведения Расина, Корнеля, Мольера. Увлечение французским языком (под влиянием учителя французского языка) привело к сочинению первых рассказов — по-французски. Однако Бабель быстро понял, что крестьяне похожи у него на «пейзан»: ненатуральны.
В 1911 поступил на экономическое отделение Киевского коммерческого института, который окончил в 1916. В 1915, прервав учебу, уехал в Петроград. Не имея прав на жительство за чертой оседлости, безуспешно предлагал свои сочинения разным редакциям. В 1915 был принят на четвертый курс Петроградского психоневрологического института (не окончил), некоторое время в 1915 жил в Саратове, что нашло отражение в рассказе «Детство. У бабушки», затем возвратился в Петроград. Первые серьезные публикации появились в журнале «Летопись», основанном М. Горьким («Элья Исаакович и Маргарита Прокофьевна» и «Мама, Римма и Алла»). В том же 1916 в петроградском «Журнале журналов» вышел цикл петербургских зарисовок «Мои листки». Горький, однако, критиковал писателя за отсутствие живых впечатлений. О том, насколько важно было для Бабеля преодолеть умозрительность, оторванность от жизни, свидетельствуют сквозные мотивы его будущих рассказов: «Пан Аполек», «Сказка про бабу», «Иисусов грех».
Бабель считал русскую классическую литературу слишком серьезной. Моделируя литературу будущего, он полагал,что ей необходим «наш национальный Мопассан»: он напомнит, какая красота есть в солнце, и в «сожженной зноем дороге», и в «толстом и лукавом парне», и в «здоровой крестьянской топорной девке». К югу, к морю, к солнцу, полагал он, должны потянуться и русские люди, и русские писатели. «Плодородящее яркое солнце у Гоголя» — этого потом не было почти ни у кого, считал Бабель. Даже у Горького, писал он, «в любви… к солнцу есть что-то от головы» (эссе «Одесса»).