Ellersdorf wurde wahrscheinlich um etwa 800 gegründet. In dem Ortsnamen steckt der Personenname Egilof. Ellersdorf war in den Anfangsjahren den Ortschaften Schnaid und Hallerndorf zugeordnet.
Die erste urkundliche Erwähnung des Ortes stammt aus dem Jahr 1109. Bei der Gründung des Stiftes St. Jakob überlässt Bischof Otto die Einkünfte aus Ellersdorf dem Stift. Die genaue Ortsbezeichnung in dieser Urkunde lautet Elolvesdorf. Im Güterverzeichnis des Bischof Friedrich von Hohenlohe aus dem Jahr 1348 sind die zu leistenden Abgaben der Dorfgemeinschaft aufgelistet, es sind: 22 Scheffel der verschiedenen Getreidearten, dazu die Hälfte des Heus, das macht 6 Fuhren, weiter 12 Käse, 100 Eier und zwei Hühner.
In der Pfarreiordnung war für Ellersdorf zunächst Seusling zuständig, ab 1359 Schnaid. Von der Gründung der Pfarrei Bechhofen an gehörte Ellersdorf nach dort, bis der Ort in der ersten Hälfte des 18. Jahrhunderts der Pfarrei Herrnsdorf zugeteilt wurde.
Die Herrschaft über Ellersdorf hatte der Bischof von Bamberg selbst, im Unterschied zu Herrnsdorf, wo Domherren die Oblei hielten.
