Het verhaal van de familie Drummond begint, net als dat van de meeste andere oude Schotse families, met de geschiedenis van de clan. Zoals bij bijna alle clans, is de geschiedenis van de Drummond clan een behoorlijk mythisch verhaal. De exacte waarheid is waarschijnlijk lastig te achterhalen, maar alle bronnen lijken te verwijzen naar de Hongaarse prins Maurice (zoon van koning Andreas van Arpad) die in 1055 of 1066 naar Schotland kwam, en hier de Drummond clan oprichtte. Mondeling overgedragen geschiedenis claimt dat Maurice samen met Edward de Banneling (een Engelse troonopvolger) naar Schotland kwam. Wat we zeker weten, is dat Edward met zijn kinderen Edgar and Margaret naar de Britse eilanden kwam. Hij overleed kort na zijn aankomst, waarna zijn kinderen met hun moeder Agatha aan het Engelse hof verbleven. Nadat hij in 1066 de troon had bestegen, gaf Edgar zich twee maanden later over aan William van Normandie, bij de slag om Berkhamsted. Van Maurice is op dit moment geen spoor te bekennen. Kennelijk had hij de afstammelingen van Edward wel een dienst bewezen, want zijn nakomelingen kregen de streek Drymen toegewezen (later veranderde deze naam in Drummond). De stamvader van deze ‘nieuwe’ familie was Malcolm van Drymen. Met de familienaam Drymen (of Drummond) kwam ook het gouverneurschap van Lennox, een regio in de buurt van Glasgow, aan de westkant van Schotland.
Het oudste geschreven materiaal waarin de Drymens genoemd worden (in het district Lennox) dateert uit 1199. In deze periode was een zekere Gilbert de Drummyn (chaplain van de graaf van Levenax) getuige bij het opstellen van een declaratie, ondertekend door deze graaf. Een nakomeling van Gilbert, Malcolm de Drymen was was getuige bij meerdere declaraties ondertekend door de derde graaf van Levenax, tussen 1225 en 1270. Hij had al meerdere landerijen in de buurt van Lennox in bezit, hoewel deze nog lang niet zo groot waren als degene die de familie later per koninlijk decreet zou ontvangen.
Na het oprichten van de clan duurde het tot de veertiende eeuw voordat een clanhoofd met familie-landgoeden, daadwerkelijk de naam Drummond gebruikt. Malcolm Beg vocht bij de strijd om Bannockburn in 1314, waarna koning Robert I hem een landgoed in Perthshire schonk. Dit was een beloning voor uitstekende verdiensten op het slagveld. De gift van land na de strijd bij Bannockburn wordt algemeen beschouwd als het begin van de familie Drummond. Later, in 1345, trouwde clanhoofd John Lord Drummond een erfgename van de Montfichets, waarmee het kasteel van Stobhall in zijn bezit kwam. Dit zou later de thuisbasis van de Drummond clan worden. Door wat opvolgingskwesties zou het echter tot in de 15e eeuw duren voordat ditz over was. John was de eerste die de naam ‘Drummond’ verkoos boven ‘Drymen’.
Met de introductie van de naam Drummond, en de gift van land in Perthshire, begon de invloed van de clan toe te namen. Twee van Malcolm Beg’s kleinzoons zouden later trouw zweren aan Edward I, terwijl zijn achter-kleindochter Annabella de moeder was van koning James I of Scotland. Ze was getrouwd met graaf John Stewart, die op dat moment High Steward van Schotland was, en later de troon zou bestijgen als koning Robert III van Schotland. Dit huwelijk zorgde voor een nog grotere verwevenheid van clan Drummond met de Schotse troon, wat sommige andere (Lowland) clans een zorgelijke ontwikkeling vonden. Zo kon het verkeren data an het begin van de vijftiende eeuw, clan Drummond een solide positive had ingenomen tussen de clans, maar ook met enige argwaan in de gaten werd gehouden.