Справжню літературну славу Євгенові Гребінці принесли його байки. На Україні вже існувала певна байкарська традиція, адже байка — це витвір поетичної уяви народу. Байка широко побутувала в XVII—XVIII століттях. Приклади байок наводилися в курсі риторики, а також включалися до перекладних збірників. Тоді тільки визначалися шляхи розвитку нової української літератури і точилася запекла боротьба за розширення її тематичного й жанрового різноманіття. До жанру байки зверталися Григорій Сковорода, Левко Боровиковський, Іван Котляревський, Петро Гулак-Артемовський та інші видатні митці.
У своїй творчості Гребінка-байкар наслідував кращим літературним і фольклорним зразкам, використовуючи чималий досвід своїх попередників. Автор виглядає надзвичайно самостійним, відображуючи світогляд українського селянина, а також надаючи своїм байкам національного колориту. Своїм корінням байки Євгена Гребінки сягають у народну творчість, де знайшли вираження одвічні прагнення, сподівання та думки трударів. Автор робив свої байки зрозумілими для широкого загалу читачів. Майже в усіх байках Гребінки гнобителям, хижакам та пристосуванцям протиставлені звичайні трудівники — уособлення моральних чеснот, працьовитості, людяності. Автор взяв із фольклору образи персонажів-тварин, які традиційно в байкарській справі наділяються людськими рисами, і відтворив погляди простого народу та суспільні явища того часу. Гребінка осуджував чиновників, панів, суддів та кругову поруку поміж ними.
Запозичивши тему в одному з найкращих творів російського байкаря Івана Крилова, Євген Гребінка втілив її в оригінальній байці, яка називається "Ведмежий суд". Поширеним явищем у той час була продажність суддів, і автор викриває їх. У байці показано, як хитрі та спритні хижаки розтерзують беззахисного трудівника, уособленого в образі Вола.
Віл не вчинив нічого злочинного. Він не йшов проти своєї природи. Лисичка подала облудний донос на Вола, звинувачуючи його в тому, що "пив, як мошенник, брагу, їв сіно, і овес, і сіль". Не виключено, що Лисичка в змові із суддями. Ведмідь-суддя та Вовки-підсудки судять Вола по-своєму. Хижаки, можливо, зрозуміли б Вола, коли б той їв м'ясо, як вони. Але ж трудівник був чесним вегетаріанцем. Це дало підставу негайно, без зайвого клопоту засудити Вола:
Понеже Віл признався попелястий,
Що він їв сіно, овес і всякі сласті,
Так за такі гріхи його четвертувать
І м'ясо розділить суддям на рівні часті,
Лисиці ж ратиці оддать.
Зовнішню законність дотримано: велося слідство, присутні суддя й підсудки, вирок написано за всіма вимогами юриспруденції. Але добре видно, що торжествують аж ніяк не закон, істина та справедливість, а влада імущих, які дуже полюбляють правити суд по-своєму.
Байка Євгена Гребінки дуже дотепна й виразна. Автор намалював типову картину чиновницького свавілля. Ми бачимо, що підсудний не має ніяких прав, а донощиці Лисиці, яка спровокувала цю судову справу, теж дещо перепадає із суддівського столу.
В інших байках Євген Гребінка теж критикує судових чиновників і взагалі тодішній суд. Це байки "Зозуля та Снігур", "Мірошник", "Рибалка" та інші. Наприклад, у байці "Рибалка" автор красномовно доводить, що судова сваволя, грабіжництво чиновників, несправедливість панів не є окремими явищами, але становлять ланки одного ланцюга — кругової поруки.
Євген Гребінка творчо сприйняв досвід попередників, розвинув народно-сатиричну байкарську традицію. Завдяки цьому українська байка піднялася на вищий рівень, і це мало велике значення для розвитку української літературної мови.
З часів Євгена Гребінки наша література утвердилася на шляхах народності й реалізму, і не останню роль у цьому відіграв автор кумедних та водночас гірких байок.