Язык $L(G)$ порождён грамматикой
$$S\to aSb\mid SS\mid \epsilon ,$$ то есть это язык правильных (сбалансированных) скобочных последовательностей над алфавитом $\{a,b\}$ (один тип скобок).
Ключевое свойство: для любого $w\in L(G)$ выполняется ${\#}_a(w)={\#}_b(w)$. Доказательство по индукции по длине вывода: $\epsilon$ имеет равные числа; правило $aSb$ добавляет по одному $a$ и $b$; правило $SS$ сохраняет равенство при конкатенации.
Доказательство нерегулярности (теорема о накачке). Предположим противное: $L(G)$ регулярен. Пусть $p$ — длина накачки. Возьмём строку
$$s=a^p{b}^p\in L(G).$$ По лемме о накачке существует разложение $s=xyz$ с $|xy|\le p$ и $|y|\ge 1$. Тогда $y$ состоит только из символов $a$, т.е. $y=a^k$ для некоторого $k\ge 1$. Рассмотрим накачку вниз $i=0$: строка $xz$ содержит $p-k$ символов $a$ и $p$ символов $b$, значит
$${\#}_a(xz)=p-k<p={\#}_b(xz),$$ и поэтому $xz\notin L(G)$ (противоречие с тем, что по лемме о накачке все $x{y}^{i}z$ должны лежать в $L(G)$). Следовательно, $L(G)$ не регулярный.
Вывод: язык $L(G)$ не является регулярным.