คันนายาว เป็นหนึ่งในห้าสิบเขตของกรุงเทพมหานคร สภาพโดยทั่วไปเป็นแหล่งที่อยู่อาศัยหนาแน่นปานกลางและหนาแน่นน้อย โดยมีย่านการค้าหนาแน่นทางด้านตะวันตกเฉียงเหนือของพื้นที่ ประมาณ พ.ศ. 2386 (รัชสมัยพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว) เจ้าพระยาบดินทรเดชา (สิงห์ สิงหเสนี) ได้ยกทัพไปปราบกบฏที่เมืองนครจำปาศักดิ์และเมืองหลวงพระบางจนได้รับชัยชนะ และได้กวาดต้อนครอบครัวจากหัวเมืองรายทางเข้ามายังกรุงเทพมหานคร โดยให้ตั้งถิ่นฐานอยู่แถบคลองกุ่ม ต่อมามีผู้คนอพยพเข้าไปอยู่อาศัยในย่านนี้และย่านใกล้เคียงมากขึ้น พื้นที่บางส่วนกลายเป็นที่ทำนาผืนใหญ่ ในการทำนาก็จะมีการสร้างแนวดินให้พูนสูงขึ้นจากท้องนาเพื่อกั้นที่นาเป็นส่วน ๆ หรือเพื่อกักเก็บน้ำไว้ใช้สำหรับปลูกข้าว ซึ่งก็คือ "คันนา" มีที่นาอยู่ผืนหนึ่งใกล้กับคลองแสนแสบ กินอาณาเขตตั้งแต่ท้ายหมู่บ้านสุเหร่าแดง (ปัจจุบันคือบริเวณถนนเสรีไทย) ไปสิ้นสุดตรงบริเวณที่เรียกว่า "โรงแดง" เพราะเป็นที่ตั้งของบ้านหลังหนึ่งที่มุงหลังคาสังกะสีเป็นสนิม มองเห็นเป็นสีแดงแต่ไกล (ปัจจุบันคือบริเวณถนนรามอินทรา) เรียกได้ว่าเป็นนาที่มีคันยาวมากที่สุด จึงสันนิษฐานว่าเป็นที่มาของชื่อ "คันนายาว"

ตำบลคันนายาว ได้รับการจัดตั้งขึ้นเป็นท้องที่การปกครองท้องที่หนึ่งของอำเภอบางกะปิ จังหวัดพระนคร โดยใน พ.ศ. 2506 กระทรวงมหาดไทยได้ขยายเขตสุขาภิบาลบางกะปิให้ครอบคลุมถึงตำบลคันนายาวด้วย จนกระทั่งใน พ.ศ. 2514 จังหวัดพระนครถูกรวมเข้ากับจังหวัดธนบุรี เปลี่ยนฐานะเป็นนครหลวงกรุงเทพธนบุรี และในปีถัดมา (พ.ศ. 2515) จึงเปลี่ยนแปลงฐานะเป็นกรุงเทพมหานคร ซึ่งได้เปลี่ยนคำเรียกเขตการปกครองใหม่จากอำเภอและตำบลเป็นเขตและแขวงตามลำดับ ตำบลคันนายาวจึงได้รับการเปลี่ยนแปลงฐานะเป็น แขวงคันนายาว อยู่ในการปกครองของเขตบางกะปิ ด้วยเหตุที่เขตบางกะปิมีเนื้อที่กว้างขวางมากและมีจำนวนประชากรเพิ่มขึ้น ขณะที่ท้องที่บางแห่งอยู่ไกลจากสำนักงานเขต ใน พ.ศ. 2532 กระทรวงมหาดไทยจึงประกาศเปลี่ยนแปลงพื้นที่การปกครองใหม่เพื่อความสะดวกในการบริหารราชการ โดยจัดตั้งเขตบึงกุ่ม ประกอบด้วยแขวงคลองกุ่ม แขวงคันนายาว และแขวงสะพานสูงแยกจากเขตบางกะปิ โดยให้มีผลตั้งแต่วันที่ 4 กันยายน เป็นต้นไป

อย่างไรก็ตาม หลังจากแบ่งเขตใหม่แล้ว เขตบึงกุ่มยังคงมีท้องที่กว้างขวางและมีประชากรหนาแน่น ประกอบกับความเจริญทางด้านสาธารณูปโภคได้หลั่งไหลเข้าสู่พื้นที่เพิ่มขึ้นเรื่อย ๆ ในที่สุดเมื่อวันที่ 14 ตุลาคม พ.ศ. 2540 กระทรวงมหาดไทยจึงมีประกาศเปลี่ยนแปลงพื้นที่เขตการปกครองใหม่อีกครั้งหนึ่ง โดยแยกแขวงคันนายาว รวมกับหมู่ที่ 3, 11 (บางส่วน) ของแขวงคลองกุ่ม และหมู่ที่ 1, 2, 9, 10 (บางส่วน) ของแขวงจรเข้บัว เขตลาดพร้าว จัดตั้งเป็น เขตคันนายาว และในวันที่ 7 พฤศจิกายน ปีเดียวกัน กรุงเทพมหานครได้ประกาศตั้งแขวงคันนายาวเต็มพื้นที่เขตคันนายาวอย่างเป็นทางการ เพื่อความชัดเจนและประโยชน์ในด้านการปกครอง การบริหาร และการอำนวยความสะดวกแก่ประชาชน ประกาศทั้ง 2 ฉบับเริ่มมีผลบังคับใช้ในวันเดียวกันคือวันที่ 21 พฤศจิกายน ปีเดียวกัน ซึ่งเป็นวันเดียวกับที่สำนักงานเขตคันนายาวได้เปิดให้บริการเป็นครั้งแรกพร้อมกับสำนักงานเขตแยกใหม่ทางฝั่งพระนครอีก 5 แห่ง ได้แก่ เขตสายไหม เขตสะพานสูง เขตหลักสี่ เขตวังทองหลาง และเขตคลองสามวา โดยใช้พื้นที่ชั้นล่างของศูนย์การค้าแฟชั่นไอส์แลนด์ซึ่งตั้งอยู่หมู่ที่ 7 แขวงคันนายาวเป็นที่ทำการ ต่อมาได้ย้ายมาตั้งสำนักงานเขตถาวรริมคลองครุ ในซอย 01 กาญจนาภิเษก 11/5 เมื่อช่วงสิ้นปี พ.ศ. 2552