Слово "вам" в данном предложении является местоимением, выражающим вопросительное обращение к неопределенному количеству людей. В данном случае, правильно было бы поставить запятую после слова "вам": "А сколько вам, всем, лет?". Таким образом, слово "вам" в данном контексте не является обращением, но запятая нужна для правильного выделения части "всем" как обобщенного указателя к неопределенной группе людей.