Возможно линия и действительно занята, возможно плохой контакт в разъеме телефонного кабеля. Попробуйте подклюить линию к модему, и телефон от него. Скорее СОМ порты тут не причем. Возможна и неисправнось самого модема. Может во время выхода в инет трубка телефона лежит не правильно, вариантов очень много. Надо каким то образом сузить поиск. Отключите телефон при выходе и т.д. Проверьте настройки модема, на предмет импульсного набора, дождаться гудка линии, поэкспериментировать с аппаратными настройками.