看来两位老师的解答有点冲突。不过，依据1983年1月1版章振邦《新编英语语法》（下册）P.515上的说明，in the early morning of May 10的表达应该是正确的。摘录如下：
表示某天的朝夕用on，如on Sunday morning, on the afternoon of October the first⑬，on the following evnening。假如在morning / evening之前有形容词也须用on，如on a fine morning, on a quiet evening等。
⑬ 假如某月某日在上（下）午之前有late, early等修饰语，介词仍用in，如in the late afternoon of 1st Octoboer。
▲夸克《英语语法大全》（P.943）也有同样的说明：
on Monday morning, on Saturday afternoon, on the following evening等表明，on加了一个补足语后有一种特殊使用方法，即指一天的一部分，而不是指全天。这种使用方法也扩展到其他一些状况，其中的一段时间是指实质提到的某一天的一部分：on the morning of 1 June等, 但在early morning, late afternoo如此的短语之前，一般用in，如in the late afternoon.