水磨沟区历史久远。秦代至西汉初期，今水磨沟区区域为车师游牧之地。西汉宣帝神爵二年（公元前60年），汉朝统一西域，在乌垒设西域都护府，统领西域各国，今水磨沟区域归西域都护府管辖，正式纳入西汉版图。唐代，水磨沟区属轮台县管辖，归安西都护府节制。宋元时期，区境属别失八里行书省。明代，今区境先后属蒙古厄鲁特的和硕特部和准噶尔部。清代，区境先后隶属于迪化直隶州、迪化府、迪化县，并在现六道湾、七道湾建立惠来堡、屡丰堡，实行屯田。
水磨沟区历史久远。秦代至西汉初期，今水磨沟区区域为车师游牧之地。西汉宣帝神爵二年（公元前60年），汉朝统一西域，在乌垒设西域都护府，统领西域各国，今水磨沟区域归西域都护府管辖，正式纳入西汉版图。唐代，水磨沟区属轮台县管辖，归安西都护府节制。宋元时期，区境属别失八里行书省。明代，今区境先后属蒙古厄鲁特的和硕特部和准噶尔部。清代，区境先后隶属于迪化直隶州、迪化府、迪化县，并在现六道湾、七道湾建立惠来堡、屡丰堡，实行屯田。
新中国成立后，隶属于乌鲁木齐市（1954年前为迪化市）。1956年5月，从乌鲁木齐市五区和乌鲁木齐县一区各划出一部分成立水磨沟工矿区。1969年又将八道湾镇划归水磨沟工矿区，1969年更名为水磨沟区。1987年12月，乌鲁木齐市政府决定将卡子湾街道办事处划归东山区，1989年1月将天山区新民路街道办事处划归水磨沟区，1998年1月从新民路、六道湾两个街道办事处各划出一部分成立南湖街道办事处。2000年8月将乌鲁木齐县七道湾乡交水磨沟区代管，2001年1月，乌鲁木齐县七道湾乡（不含卡子湾村）和原东山区芦草沟乡水磨沟村正式划归水磨沟区。2002年成立南湖北路街道办事处，南湖街道办事处更名为南湖南路街道办事处。2006年撤销七道湾乡，建立七道湾街道办事处。2007年12月，米东区芦草沟乡的石仁子沟、葛家沟、涝坝沟3个村移交水磨沟区管理。2008年1月，成立风景区管委会（筹备办公室），负责石仁子沟、葛家沟、涝坝沟3个村行政管理和旅游开发工作。2009年5月18日，成立农村事务管理办公室，负责石仁子沟、葛家沟、涝坝沟3三个村的行政事务管理工作。