契約しないと帰さないなどと脅されて契約書にサインしてしましました。代金を支払わないといけないのでしょうか。

帰してもらえずに契約したら

消費者が、事業者に勧誘された場所から、帰りたいと言ったにもかかわらず、帰らせてもらうことができずに契約をした場合は、消費者契約法が定める「監禁」に当たる可能性があります（消費者契約法4条3項2号）。

この場合、消費者は、事業者の不適切な行為により、自由な意思決定が妨げられて契約をしたとして、締結した契約を取り消すことができます。但し、消費者契約法は法律上のルールを規定するもので、事業者を罰する法律でありません。そのため、不適切な行為があったからと言って、自動的に契約が取り消されたり、行政が取り消しを命じるわけではありません。
消費者が事業者と交わした契約を取り消したい場合は、事業者に対して契約を取り消したい旨を伝える必要があります。契約を取り消した場合は、代金を支払う必要はありません。

脅されてやむなく契約したら

消費者が、事業者から脅し文句などを使って買うことを強制されたようなケースで、事業者のそのような行為がなければ契約しなかっただろうと認められる場合は、強迫による契約の取消しを主張することができます（民法96条）。
これによって、契約ははじめからなかったものとして取扱われます。
この場合も、代金を支払う必要はありません。