自两汉以来，琅琊王氏一直都是天下有名的世家望族。王导的祖父王览曾官至光禄大夫，父亲王裁也在晋朝出任镇军司马。王导自幼得到了良好的教育，熟读儒家经典，成年以后，自然步入仕途，出居要职。“八王之乱”后，东海王司马越成为了西晋王朝实际的掌权人。司马越为了巩固政权，命令王导偕同琅琊王司马睿南下江东，坐镇建康（今南京），以确保皇权永固。
王导与司马睿的私交甚笃，两人常在一起谈诗论画，探讨军国大事。永嘉元年（307年），司马睿奉命前赴建康，王导随行南渡。这一路上，司马睿对王导真可谓是言听计从，王导也积极为司马睿出谋划策。
司马睿刚到江南时，并未受到江南士族豪强的重视。这是因为自东汉末年以来，江南士族与中原士族一直隔阂颇深。见到这种情况，王导和名将王敦商议，决定组织一次活动，以增强司马睿的声望。三月三日这天，司马睿在王导等人的精心安排下，乘坐肩舆风光出巡，王敦、王导以及北方名士骑马随从。
南方的世家望族见到这种阵势，无不震惧，纷纷下拜行礼。司马睿具备了一定声望后，王导趁机建议司马睿招揽俊杰，礼遇江南名士。司马睿于是命令王导去招揽江南士族首领顾荣、贺循。在王导的劝说下，顾荣、贺循应命来见，分别被任命为军司马和吴国内史。江南士族见状，纷纷归附司马睿。