Chyba nie bardzo orientujesz się w tym, co robisz bo strasznie namieszałeś. Poszperaj w necie (lub na forum) i poszukaj czym ce****ą się pliki typu raw/nef, jpg/tiff, exr/hdr.
Do wywoływania rawów (w przypadku nikona NEF) służy właśnie Capture One. Za jego pomocą "zamienisz" zgodnie ze swoimi ustawieniami rawy na jpg lub tiff.
Photomatix otwiera różne typy plików od rawów (które prawdopodobnie "wywołuje" z jakimiś domyślnymi parametrami) przez jpg/tiff do plików hdr (to już etap po połączeniu plików).

Moim zdaniem powinieneś robić tak. W CO wywołaj sobie rawy (może być to kilka odrębnych plików lub np 3 pliki z jednego raw z różną ekspozycją) i zapisz efekt pracy jako tiff. W Photomatixie otwórz te pliki i zrób sobie hdra, efekt zapisz jako jeden plik też może być tiff. Kolejnym etapem powinna być praca pod GIMPem, Photoshopem lub innym programem tego typu i tam z kolei efekt możesz już zapisać już jako jpg i pokazać na forum.