Город Кохтла-Ярве расположился на северо-востоке Эстонии вблизи Таллинско-Нарвской железной дороги. Состоит из шести отдельно стоящих частей города: Ахтме, Ярве, Кукрузе, Ору, Сомпа и Вийвиконна. Ахтмеская часть города находится на юге от уездного центра и состоит из Ахтме, Пуру, Ийдла и Таммику. Крупные промышленные предприятия (добыча сланца, электростанция, комбинат стройматериалов) находятся в юго-восточном Старом Ахтме. Между Ахтме и Йыхви расположен жилой район Ийдла.

Кохтла-Ярве получил статус города немногим более полувека назад. Однако поселения на его территории существовали давно. Так, к 1241 году относится первое упоминание в Датской поземельной книге о деревне Ярве (там она именуется Jeruius). Нынешняя часть города Кукрузе впервые упоминается тоже в 1241 году (Kukarus), а Сомпа — в 1420 году (Soenpe).
Вероятно, на месте нынешнего Кохтла-Ярве так и не возникло бы города, если бы не горючий сланец, залежи которого в здешних краях довольно значительны. Образно говоря, горючий сланец — это «твердая нефть». О том, что этот камень может гореть, местные жители знали давно. Существуют легенды, рассказывающие о том, каким образом это было замечено.
Согласно одной из них, когда-то в давние времена пастухи, разжигая костры, имели обыкновение выкладывать вокруг них кольцо из камней. Обычно для этого использовали известняк, но как-то раз воспользовались желтовато-коричневыми камнями, которых оказалось немало в том месте. Пастухам трудно было поверить своим глазам, когда они увидели, как жарко эти камни пылают вместе с дровами. По другой легенде некий крестьянин построил себе баню из сланца. Стоило растопить ее, как загорелись стены — к величайшему изумлению крестьянина и всех соседей.