بدأ السيوطي كتابه هذا بمقدمة قصيرة تحدث فهيا عمن سبقه في معالجة هذا الموضوع، ثم ذكر وضعه لهذا الكتاب، ثم أورد حديث عائشة: "البياض نصف الحسن"، وأضاف إليه قول خالد بن صفوان عن عمود الجمال. وتبدو المقدمة توطئة للقسم الأول وهو ذكر ما قيل في البيض. وفي القسم الأول يورد السيوطي مختارات شعرية لطيفة لما قيل في البيض،أما القسم الثاني فهو ذكر ما قيل في فضل السمر، وهو في هذا القسم لم يعتمد ما اعتمده في القسم الأول إلا بعدد قليل من المقطوعات، بل نجده يذكر من ذكر السمر في شعره ولم يفضلها على سواها، وفي هذا القسم نجد أبياتا في مدح السود، وعدّه من السمر. أما القسم الثالث فهو ذكر ما قيل في السود، وفي هذا القسم يختار السيوطي ما قيل في السود، وفي هذا القسم يختار السيوطي ما قيل في السود وفي بعضها فقط نجد أبياتا في تفضيلهن على البيض. وينهي السيوطي كتابه في القسم الرابع والأخير في ذكر أنصف، وهو قسم صغير والكتاب كما سيلاحظ القارئ هو جمع وتنسيق واختيارات من حافظة السيوطي لا تعليق ولا تحليل فيه. أما من تناولوا هذا الموضوع في كتبهم، فقد حاولوا تحليل الأسباب، وتحدثوا عن الطبائع، وعن ميول النفس البشرية إلى جنس دون آخر. ومن أشهر ما قيل في ذلك: من أراد أن يتخذ جارية للمتعة فليتخذها بربرية، ومن أرادها للولد فليتخذها فارسية، ومن أرادها للخدمة فليتخذها رومية. وقال المغيرة بن شعبة: بنات العم أحسن مؤاساة، والغرائب أنجب، وما ضرب رؤوس الأقران مثل ابن السوداء.