彼は偶然にも柔術を学んでいました。柔術は彼のような小柄な男が大男と戦うための手段を彼に導いてくれたのです。彼は柔術を究める決心をしました。当時柔術の道場は寂れ、生徒はほとんどいませんでした。そのため師範たちは他に職を探さざるを得ない状況だったのです。このため、優れた師匠を探すことは容易ではありませんでしたが、18歳の時、彼はヤギテイノスケに師事し、柔術の基礎を学びます。彼はヤギを通じ、天神真楊流柔術の当主である福田八之助とも出会います。彼は非常に高潔な人物で、治五郎は彼から多くのことを学びました。八之助も彼を重用し、1879年に亡くなった後は、すべての教典を治五郎に託しました。
福田八之助の死後は磯正智が後継者となりました。彼は当時すでに64歳の高齢でしたが、素晴らしい強さと柔軟性を保っていました。治五郎は磯に最大級の敬意を払っており、のちに述べています。‘わが師磯先生ほど美しい所作をみたことはありません’。福田八之助同様、磯も1881年に亡くなるとき、教典を治五郎に託しています。
同年、嘉納治五郎は起倒流の家元である飯久保恒年に弟子入りします。この派が用いる技術は高度で難解とされてきましたが、1年後には、治五郎は飯久保をして、もう教えることはなにもないと言わせしめました。