Если речь идет о бросании кубика или каких-либо других игровых действиях, то кавычки в данном контексте не нужны. В этом случае фраза будет выглядеть так: "Бросаем на счет три".