La ville se situe dans la région historique de Dzūkija, sur la rive droite du Néris.

Au cours de la christianisation de la Lituanie, en 1387, le grand-duc Ladislas II Jagellon a fondé la paroisse de Nemenčinė et fit ériger une église sur l'emplacement d'une ancienne forteresse du droits de ville en 1554.

Dans l'entre-deux-guerres, la ville appartenait à la région de Vilnius saisie par la république de Pologne. Avec l'invasion soviétique de la Pologne, en 1939, toute la région passa sous le contrôle soviétique. Le 20 septembre 1941, après le début de l' et l'occupation allemande de la Lituanie, 403 Juifs de la ville sont tués dans une exécution de masse : 128 hommes, 186 femmes et 99 enfants sont exécutés par des Einsatzgruppen de nazis lituaniens. Un mémorial est érigé sur le site du massacre.