ダイエット中の調味料って気にするべき？

ダイエット中は料理に入れる調味料は気にしますか？
砂糖を蜂蜜に変えていますが、あとは普通に使ってます。
みりんなど控えめの方がいいのかなと思うんですが、考え過ぎですかね？