Правильно: «жёлтая рыба».

Пояснения:

Обычно прилагательное ставят перед существительным: «жёлтая рыба». Можно и так: «Рыба жёлтая» (сказуемое), тогда порядок слов инвертирован. Форма прилагательного согласована по роду, числу и падежу: (\text{жёлтый} \Rightarrow \text{жёлтая (жен., ед., им.)}). Буква «ё» в слове предпочтительна: «жёлтая» (все ещё часто пишут «желтая», но корректно — с «ё»).