В данном случае, слово "leave" используется в форме прошедшего времени, так как оно указывает на действие, которое уже произошло. При этом, в английском языке, после слова "saw" или других глаголов в прошедшем времени, следует использовать глагол в форме прошедшего времени без окончания "-s" (3 лицо единственного числа). Поэтому верное написание в данной ситуации будет "I saw the Count leave the castle".