元不倫(セクハラ？)相手からの嫌がらせについて

一時期不倫(と言うのかセクハラというのか)をしていた上司と
私から切り出してちゃんと距離を置き、今その上司から嫌がらせを受けているので
何かしら、訴えをすることができないのか検討しており、相談にのっていただきたくご連絡いたしました。

当時、彼(48)は妻・子ども2人、私は独身・彼氏と別れた直後でした。
隣の部署の上司ですので、業務上もとても近い存在です。
2016年1月～2月の間に、会社外で飲みに行ったり、体の関係も何度かありました。

社内の規定や一般論など色々と調べてみましたが、以下の件について
ご意見お聞かせいただけませんでしょうか。

1)"相手の意に反して"というのはどの段階を指すのか？
　色んな段階があるかと思いますが、下記のような例でしたらどの番号からセクハラになるのでしょうか？
　　①もともと尊敬していた上司だったので、嫌な気はしなかった
　　②弱み(前の彼との失恋のショック)につけこまれて、そんな気になってしまった
　　③会社として重要なポストにいる方なので、
　　　断ると自分の今後のポジションや働きやすさが懸念され、断りきれなかった
　　④何度か断ったが、説得された、折れた
　　⑤断り続けていたが無理やりだった

2)業務上の不利益とは、どうやってするものなのか？
　本人が感じていることと、社会通念上とのレベルをどうやって図っていくのか
　セクハラで言うと、性的欲求への拒否を理由に嫌がらせ(？)というのが主張です。
　但し、その嫌がらせというのが、いわゆる雇用上の不利益(解雇、人事異動、減給)というのではなく、
　パワハラで言う否定型・強要型に抵触する”可能性がある”という程度です。
　そのため、被害者本人が(もしかしたら過剰に反応しているだけで)嫌がっていたとしても
　社会通念上は共感が得られにくいのではないか、また証拠が用意しにくいのではないか、と懸念しております。

　具体的には、↓以下のようなことがありました。
　＜否定型＞
　・会議中、他者の意見はメモをするのに対して、私からの意見はメモしない
　・あいさつもせず、いないものとして扱うなど、無視
　・質問等に席に行っても、手をとめず、一切目も合わせず、テキトーにしか対応をされない
　　話すのが明らかに面倒くさそうに「まとめてメールちょうだい」としか言わない
　＜強要型＞
　・自分のやり方を押し通す
　・何かこちらが意見をしても「もう決定事項なので」ということで取り合わない
　　決定プロセスについてもテキトーにしか説明されず、
　　しかも、「決定事項」と言っていたにも関わらず、後になって変えられる
　・担当者本人には事前に相談もなく、担当の業務を変更される

3)事実の確認はどのようにされるのか？
　もちろん密室の二人での出来事ですので、照明がしにくいように思いますし、
　本人に聞いても否定、もしくは違う主張をするに決まっているのですが。。。
　証拠はこちらからor周囲の明らかなものであれば足りるのか、
　本人からの反論証拠の提出機会はあるのかどうか。。。

　メールからは、彼からの好意があったことや読み取れることは確かですが、
　こちらからは合意ともどっちとも取れる内容が残っていたりします。
　彼と泊まったペンションの名前ぐらいは分かりますので、利用記録がとれれば、彼自身が利用したことは証明できます。
　逆に言うとそれぐらいです。。。

4)抱合せによる懲戒処分の重罰化はありうるのか？
　彼は今年の1月に別件(社員2000人の前で特定の社員の言動を否定)において
　訓戒を受けています。
　今回のセクハラ・パワハラだけでは懲戒解雇等には及ばないものと推測しておりますが、
　直近の処分も考慮すると、より重い処分がされることはありうるのでしょうか。

拒否されたことの腹いせのために、強い立場を利用して横柄な態度をとる上司がなんとしても許せません。
かなり長くなってしまい大変恐縮ですが、何卒よろしくお願いいたします。