民间传说海棠原来是有香的，天庭庆贺西王母寿辰时，如来献了几盆奇花，养于广寒宫。一个玉女见了，十分喜欢，央求嫦娥送她一盆。不巧遇到王母，见状十分生气，将玉女和她手中的花一起打下凡间，这花正好落在一个老汉的园子里。老汉见一盆奇花从天而降，就招呼女儿海棠姑娘一块来接，他口中连喊：“海棠！海棠！”。姑娘走出门外，见老汉手中拿着一盆奇花，就问：“这花也叫海棠？”老汉看手中不知名的花与女儿一样漂亮，就干脆叫他海棠花了，海棠从此在人间栽培，但香魂却己随风飘去了。
当然这只是后人编撰、附会的美好传说，但反映了人们对海棠喜爱及海棠是否有香的关心。海棠是否有香味，历来众说纷纭。《王禹偁诗话》里记载晋代石崇，曾对盛开的海棠花说：“汝若能香，当以金屋贮汝。”石崇是否真的说过海棠“汝若能香，当以金屋贮汝”？此事未见正史记载，这一说法是在北宋才出现的，但这一传说反映了世人对海棠是否有香的关切。
许多诗人认为海棠花是有香味的，但对海棠花香的程度各人又有不同看法。海棠有香又分为两派，一派认为海棠有浓香，以“香里无勍敌，花中是至尊”（王禹偁《商山海棠》）为代表，另一派则认为海棠花的香味是天香、远香、似有若无的空灵之香，此观点大多是经过亲身验证而得到的。另有一些文人认为海棠是有色无香、徒艳其表、不慧其中的花卉。陆游禁不住为海棠的遭遇鸣不平，由此写诗“讥弹更道无香处，常恨人言太刻深”（《海棠二首》）。在另一首诗里陆游认为海棠姿色绝艳，即使无浓香也不能成为诟病的理由，“欲夸绝艳不胜说，纵欠浓香何足病”（《二月十六日赏海棠》）。
关于海棠无香的趣闻较多。宋人刘渊材自称平生所恨五事，其一就是恨“海棠无香”。才女张爱玲也曾表达类似的意思，她的人生三恨是“鲥鱼多骨，海棠无香，红楼梦未完”。《墨客挥犀》还记载渊材的另一则趣闻：“李丹大夫客都下一年无差遣。及授昌州，倅议者以去家远，乃改授鄂州。刘渊材闻之吐饭大歩往谒李曰：‘谁为大夫谋？昌佳郡也，柰何去之？’李惊曰：‘供给丰乎？’曰：‘非也。’‘民讼简乎？’曰：‘非也。’曰：‘然则何以知其佳？’渊材曰：‘海棠无香，昌州海棠独香，非佳郡乎！’闻者传以为笑”。
另有一种观点认为蜀中的嘉州（今乐山、峨眉等地）、昌州（今重庆市下属永川市）地区的海棠和别处不同，都有香气。至今乐山、大足等地有“海棠香国”的别称。“谁恨无香，试把花枝嗅，风微透细熏锦袖，不止嘉州有”（宋代王十朋《点绛唇》）。也有说蜀中昌州海棠有香，“旧说海棠无香，惟昌州海棠有香，验之蜀道信然，以为不易之论”（宋代薛季宣《香海棠》）。后来逐渐发现其它地方也有香海棠，不能说除嘉州海棠外一概无香。薛季宣接着写道“药圃有棠三本，其花亦香，乃知非蜀棠独香，香棠自有种耳！”
李渔在《闲情偶寄》中认为海棠有香，香气在隐约之间，但因海棠花姿妖娆艳丽、风姿绰约，而掩盖了海棠的香气。并指出海棠虽略欠香气，但花美韵胜为其它花所不及，不应对海棠求全责备。“此《春秋》责备贤者之法。否则无香者众，胡尽恕之，而独于海棠是咎？然吾又谓海棠不尽无香，香在隐约之间，又不幸而为色掩。”对于古人以为海棠“有色无香”的问题李渔别有见解：“……嗅之，另有一种清芬。”嗅之以后，并大发感慨：“噫！大音希声，大美不和。奚必如兰如麝，扑鼻熏人，而后谓之有香气乎？”笔者经多方考证加实地调查，倾向清人李渔的观点，即海棠是有香的，但香气较淡。具体说来海棠香否，与品种、花期有关，如复瓣的垂丝海棠较香，而单瓣的香味略淡；花初开时期较香，经风雨或花期末期香味淡。
海棠婀娜多姿、娇艳欲滴，香味略嫌不足。其实，海棠少有香气实属瑕不掩瑜，世上许多名花均不香，如：杜鹃、郁金香、樱花、仙客来、大丽花等，且海棠虽然花少有香，但海棠类的植物如木瓜海棠、贴梗海棠等的果实却香气袭人，别有情趣。
