1738 год - это третий год 18 столетия, поэтому он склоняется как третий (третьему, третьем). Например, "в третьем тысяча семьсот тридцать восьмом году".