更に、小笠原氏の祖は加賀美遠光（新羅三郎義光の孫）の子・小笠原長清であるので、 新羅明神の勧請は小笠原氏の氏族的な因縁もあるものと考えられる。

社殿の往古の姿を伝える記録は明治三十二年神主林家の火災により焼失してしまったが、 天正元年（1573）小笠原信貴による再建時の社殿については 三間社流れ造りの構造で「神殿造営者出組桧皮葺、宮殿結構善尽し亦美尽せり」（『小笠原家文書』）。 更に寛文十一年（1671）宮崎太郎左衛門公重が駒場の領主の時の再建の様子については 『神殿内墨書』に「先社之通り無相違建立之」とあり、天正元年の規模や様式で再建したことが知られている。 現在の建物はその時のものといわれており桁行三間、梁間二間、 三間社流れ造り（間口十八尺、奥行九尺）二重垂木、出組、向拝は連三斗を用い、 内陣の間口五・四ｍ、奥行き二・四ｍ。正面階段には各柱に昇降欄を備え、 正面四本の内陣柱は金箔装、右に唐獅子、波に紅葉、鳩の彩色画が施されている。 覆屋内にあるため保存も良い。正面の金柱、欄間の採色は色調をとどめており、造営時の華麗さが偲ばれる。 現在の拝殿は、本殿中央の天思兼命神殿内垂簾貫にある墨書により、 延宝三年（1675）当地の神主・林杢太夫清久が建立したものであることが知られている。 入母屋造妻入り。周囲は格子造、内部は格天井で格間には彩色画がある。 本殿再建（1671）の四年後に現拝殿が建立された。

社宝の慶安二年八月の徳川三代将軍家光の朱印状は、
「信濃国伊那郡駒場村新羅明神社領同所内拾石事任先規寄附訖
全可収納並社中山林竹木神主屋敷等諸役免除如有来永
不可有相違者也
　慶安二年八月十七日（家光朱印）」とある。

当神社には明治初年まで「新羅大明神」の社額（現在社宝で二面、蔵されている）が 元禄三年建立の石の大鳥居に掲げられていたという。 前宮司・倉田氏に新羅明神の像が見られないかと尋ねたら写真をみせてくれた。 像は朝鮮風の服装で頭に烏帽子風のかぶりものをした坐像である。 像には極彩色が施され、顔は博多人形のような感じがした。 両腕を膝の上に乗せて落ち着いた上品なイメージであった。 『阿智村誌』によれば、「当社の新羅明神像は江戸時代の造立であるが、 一見して渡来神であることが知られる形容の倚（い）像である」と説明されている。

当神社の新羅明神は源氏の将・新羅三郎義光の子孫が三井寺より勧請したものであることは確かであろう。 しかし、当地は新羅系の渡来人である秦氏、或いは倭漢直の祖である阿知使主との関係も考えられるので、 元々はそれらの人々が奉祀していた神社（磐座（いわくら）が残っている）があったのかも知れない。 更に安布知神社は式内社安智神社であったという説もある。

当地には、近江の高島郡から勧請されたという白髯神社がある。 白髯神社も一説によればシラギの別称で、新羅神社であるといわれている。 「安布知神社」から昼神方面へ車で五〜六分走り安知川を渡った山隘の道（中馬街道庚申坂の左手）の左にある。 社殿（拝殿・神楽殿）は山の中腹を削った場所にあり、木造、妻入り様式で赤色の屋根の簡素な建物である。 社殿の奥に平入り型流造の本殿が置かれている。

この白髯神社は近江からの勧請といわれている。即ち、『村誌』によれば 佐々木氏が由来書を所蔵しているというが、 「抑々白髯大明神と申し奉るは本国近江の国浅井郡湖水のほとりに鎮座ましまされ候て、 一号佐々木大神とも申し奉るに……此の地へ遷し奉候由来は、私の先祖佐々木左近太夫と申す者、 元来近江の国細江の庄の住人にて、天文年中迄近江に住居仕り候処、 一朝国乱に遇い一戦に利を失い……当駒場村の内曽山と申す所に落着、 住所を定め、武を捨て農事に励み……本国の守護神白髯大明神を此所に勧請し奉り度く……。 一子采女父の遺志を継ぎ天正十年午三月近江の国へ立越し、明神を迎え奉り帰国……。 ……元禄年中采女より十二代の孫吉左衛門の代にあたり、 当所新羅大明神の神主林杢太夫と申す者申し候は白髯明神の祭礼、其外造営遷宮諸事、 この方の指図を請け申す可き旨……。夫より後は、神祭りの砌り湯立等は必ず新羅明神の神主を頼み申候。
…… 九月九日祭礼。
白髯大明神
御神体　木造御尺二寸坐像
拝殿　二間四面板付葺
神楽殿　二間半に二間板葺　森地　東西二十四間南北二十六間半
天保十五年辰九月
駒場村下町森地主庄屋　吉右衛門」

白髯神社の祭礼を新羅神社の宮司である林家に依頼しているところからみると、 両神社は何らかのつながりがあったようである。