この玉楠は歴史的な場面にも立ち会っています。それは今から遡ること164年前、長く続いた鎖国が解かれた安政元(1854)年のことです。日本に開国を求めてやってきたマシュー・ペリー率いるアメリカ艦隊一行は横浜の小柴沖に停泊しました。そしてついに横浜村に上陸した時の様子が、艦隊の随行画家ヴィルヘルム・ハイネのリトグラフに残されています。『ペリー横浜上陸図』(横浜開港資料館蔵)の向かって右側に描かれているとても大きな玉楠が、現在の玉楠の祖先にあたります。ペリー一行を迎える多くの日本人の頭上高くから、その場面をまるで見守っているかのような背の高い玉楠が目を引きます。この玉楠の近くに応接所が設けられ、日米和親条約が締結されたのでした。

玉楠の手前には水神の祠がありますが、このあたりは元治元(1864)年、横浜居留地覚書によって領事館用地として指定されたため、玉楠は残されたまま水神社は別の場所へと遷宮されたのでした。

その２年後、玉楠は大きな災難に見舞われました。慶応2(1866)年11月26日、午前８時、横浜 末広町の豚肉料理店から火の手が上がり、火はまたたくまに広がっていったのです。日本人の居住するエリアは火の海と一変し、更に火の勢いは外国人居留地の北側へと広がり、火はようやく14時間後に鎮火したのでした。
それほど大きな火災の被害に遭っても、当時の横浜の人々は非常に力強く、素晴らしかった様子がデンマーク人の綴った見聞記に残されています。エドゥアルド・スエンソン(Edouard Suenson 1842-1921)の『日本素描(Skitser fra Japan)』です。彼はデンマーク海軍からフランス海軍の士官となり、極東の戦略地点を巡行するフランス艦隊の一士官として、日本を訪れていました。しかし彼は慶応の大火の時に直接横浜で被災したわけではありません。その頃、フランスは李氏朝鮮との戦いを起こしていました。フランス人宣教師への弾圧と宣教師９名処刑に対する報復「丙寅洋擾(へいいんようじょう)」のためです。横浜港に駐屯していたフランス部隊もその戦いに参戦することとなり、スエンソンもその中の一人として朝鮮半島に向けて出発しました。そして江華島を攻撃、占領したものの撃破されて横浜へ帰還する、ちょうどその間に、慶応の大火が起こっていたのです。そのため彼の記録には大火の後、復興中の横浜の様子を自分が見たり、また人から大火の折の人々の様子を聞いたことが登場します。彼は駐日フランス帝国行使であるレオン・ロッシュの近くで過ごしたことからも、より多くの情報を得ることができたのでしょう。