Да, можно не оформлять прямую речь в частице "да", если контекст уже подразумевает, что высказывание является прямой речью. Например, если кто-то спрашивает вас о вашем мнении, а вы отвечаете ему напрямую, не используя частицу "да". В таких случаях это может быть сделано для более натурального и естественного потока разговора.