Точное происхождение этого выражения неизвестно, но, вероятно, оно возникло из ассоциации с обычным бытовым предметом - чайником. Чайник считается символом домашнего уюта, но в то же время он требует определенных навыков для его правильного использования. Таким образом, "чайник" как новичок ассоциируется с тем, кто еще не обрел опыта и знаний в определенной области, но может быстро усвоить их, так же как чайник нагревает и кипятит воду.

Относительно постановки слова "чайник" в кавычки, это зависит уже от контекста. В данном случае, когда мы говорим о новичке, это слово можно не брать в кавычки, так как оно используется в переносном смысле и широко распространено.