Для монохроматического света с длиной волны λ=0,5 мкм в угловом максимуме первого порядка имеется следующее соотношение:
dsin(φ) = mλ,
где d - расстояние между соседними щелями (в данном случае ширина решетки), φ - угол дифракции, m - порядок максимума, λ - длина волны.

Подставим данные:
d = 0,8 см = 0,008 м
φ = 5,740 рад
λ = 0,5 мкм = 0,5*10^-6 м

Теперь найдем порядок максимума для λ1=540,2 нм и λ2=540,4 нм:
m1 = dsin(φ) / λ1 = 0,008sin(5,74) / 540,210^-9 ≈ 1,1
m2 = dsin(φ) / λ2 = 0,008sin(5,74) / 540,410^-9 ≈ 1,2

Таким образом, разделение излучений с длинами волн λ1=540,2 нм и λ2=540,4 нм можно осуществить в максимуме второго порядка.