V roce 1118, 19 let po po obsazení Svatého města a po konci první křížové výpravy, skupina devíti rytířů přicestovala z Francie do Jeruzaléma. Rytíři, vedeni Hugem de Payens, šlechticem z Champagne a vasalem hrabat za Champagne, poklekli před králem Jeruzaléma Balduinem II. Setkání domluvil patriarcha Jeruzaléma, který byl duchovním velitelem všech křižáckých států. Podle kronikáře Viléma de Tyre žádali o založení nového náboženského řádu, jehož členové se zavázali, že ...

"ze všech sil budeme chránit silnice a cesty ... se speciálním posláním vojenské ochrany poutníků na svatá místa."

Žádali, a také dostali, svolení, aby se mohli usadit v křídle královského paláce v oblasti chrámu. Balduinu II. jim jako kasárna, či klášter, věnoval Omarovu mešitu Kubbat as-Sachrá (Skalní dóm). Před staletími zde na hoře Moriah stál chrám (temple) zbudovaný pro krále Šalamouna. Později přibrali i sousední mešitu al-Aksá. Od tohoto místa odvozovali své jméno: 

Chudí rytíři Krista a Templu Šalamounovo. 

Během následujících dvou století byli označováni jako Řád Templu, Rytíři Šalamounovo chrámu a spoustou dalších variant. Dvě věci zůstávaly: všechny formy vycházely od Šalamounova chrámu a vždy bylo rozšířenější lidové označení "templářští rytíři".

Nový řád toho zjevně v prvních devíti letech své existence udělal velmi málo a nejsou ani záznamy o tom, že by vůbec přijímal nové členy. Pak, v roce 1127, se zřejmě rozhodl prorazit. V tomto roce napsal král Balduin II. dopis Bernadovi (později sv. Bernard), opatovi z Clairvaux a nejvlivnějšímu duchovnímu své doby, někdy označován jako "druhý papež". Balduin žádal, aby využil svého vlivu u Honoria II. a vymohl pro nový řád templářských rytířů papežskou sankci a řeholi pro život a chování členů.

Zpočátku byl řád stěží o něco víc, než soukromý klub kolem hraběte ze Champagne. Všichni zakládající templáři byli jeho vazaly, Hugo de Payens byl jeho bratranec, Andre de Montbard, který se měl stát pátým velmistrem, byl strýcem Bernarda, který byl sám ze Champagne, a papež Honorius byl cisterciáckým příznivcem Bernarda. Papež zvolil za místo setkání koncil, který měl prozkoumat požadavky templářů, hlavní město Champagne, Troyes. První pozemek, který templáři dostali darem byl v Troyes a tam také založili svůj první evropský řádový dům.

Bernard se obrátil na papeže s Balduinovým požadavkem a podpořil ho svým souhlasem a doporučením. Když Hugo de Payens a pět dalších templářů dorazili do Říma, byli přijati u papeže. Ten dal svolat na následující rok koncil v Troyes v Champagne a přikázal templářům, aby se také účastnili. Bernard osobně nemohl přijet, ale napsal dopis, ve kterém dal najevo své nadšení nad vznikem nového řádu. Uvedl své důvody, proč žádal radu o oficiální uznání řádu a ustanovení řehole, k čemu nabídl svoji osobní pomoc. Bernardova pověst byla založena na jeho velkých úspěších jako reformátora klášterního života a jeho postavení bylo tak pevné, že jakýkoliv projekt, za který se postavil, mohl být jen ztěží církví nebo laiky odmítnut. Bernard pomohl vytvořit templářskou řeholi, založenou na řeholi jeho vlastního cisterciáckého řádu, která zase vycházela z mnohem starší benediktinské řehole.

Hugo de Payens odjel z Jeruzaléma jako jeden ze skupiny devíti rytířů, které spojoval podivný neoficiální řád. O dva roky později se vrátil jako velmistr řádu odpovědný pouze papeži, s majetkem ve zlatě, stříbře a pozemcích, se třemi sty rytířů, kteří přísahali, že položí své životy, pokud jim to přikáže jejich mistr.

Templáři se původně přidali k řeholi augustiniánů, stejně jako johanité, ale kromě třech obvyklých slibů řeholních (chudoba, cudnost, poslušnost a věrnost Bohu) skládali slib čtvrtý povinnost ochraňovat poutníky do Jeruzaléma. Templáři, napůl mniši a napůl vojáci, si zvolili za patrona sv. Jana, autora Apokalypsy.