本技術(shù)涉及成像裝置、控制裝置以及學(xué)習(xí)模型。具體地，本技術(shù)涉及能夠控制事件的生成速率的成像裝置、控制裝置和脈沖神經(jīng)網(wǎng)絡(luò)。
背景技術(shù)：
1、在成像裝置中，存在根據(jù)入射在每個(gè)像素上的光量生成事件的技術(shù)。此時(shí)，在高光量的情況下，事件輸出可能飽和，因?yàn)轭l繁發(fā)生發(fā)射。為了抑制發(fā)射率，例如，已經(jīng)提出了引入用于縮短曝光時(shí)間的驅(qū)動(dòng)方法的技術(shù)(參見，例如，非專利文獻(xiàn)1)。
2、引用列表
3、非專利文獻(xiàn)
4、非專利文獻(xiàn)1：ecole?polytechnique?fédéralede?lausanne(epfl)，佳能公司(canon?inc.)，“用于2d和3d成像應(yīng)用的百萬像素時(shí)間選通spad圖像傳感器(megapixeltime-gated?spad?image?sensor?for?2d?and?3d?imaging?applications)”，2020
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的問題
2、然而，在上述傳統(tǒng)技術(shù)中，如果縮短曝光時(shí)間以便抑制事件輸出的飽和，則存在靈敏度降低和噪聲增加的可能性。
3、鑒于這種情況做出了本技術(shù)，并且其目的是在抑制靈敏度降低的同時(shí)抑制事件輸出的飽和。
4、問題的解決方案
5、已做出本技術(shù)以解決上述問題，并且其第一方面是一種成像裝置，包括：光接收部，設(shè)置在沿行方向和列方向布置成矩陣的像素中并且基于光子的入射輸出脈沖；計(jì)數(shù)器，設(shè)置在像素中并且對(duì)從光接收部輸出的脈沖進(jìn)行計(jì)數(shù)；以及比較器，設(shè)置在像素中，并且基于計(jì)數(shù)器的計(jì)數(shù)值與計(jì)數(shù)器閾值之間的比較結(jié)果輸出事件。這帶來輸出壓縮脈沖的輸出速率的事件的效果。
6、此外，在第一方面中，當(dāng)計(jì)數(shù)值超過計(jì)數(shù)器閾值時(shí)，比較器可以輸出事件。這帶來了以下效果：基于計(jì)數(shù)器閾值壓縮脈沖的輸出速率。
7、此外，在第一方面中，當(dāng)計(jì)數(shù)值超過計(jì)數(shù)器閾值時(shí)，比較器可以重置計(jì)數(shù)器。這帶來每當(dāng)輸出事件時(shí)從開始開始計(jì)數(shù)的效果。
8、此外，在第一方面中，計(jì)數(shù)器和比較器可布置在光接收部的下方。這帶來了以下效果：在抑制成像裝置的平面尺寸增大的同時(shí)，為每個(gè)光接收部形成計(jì)數(shù)器和比較器。
9、此外，在第一方面中，光接收部可以包括單光子雪崩二極管(spad)。這帶來逐個(gè)計(jì)數(shù)光子的效果。
10、此外，在第一方面中，可以包括基于事件的輸出速率控制計(jì)數(shù)器閾值的控制部。這帶來根據(jù)光量動(dòng)態(tài)地改變計(jì)數(shù)器閾值的效果。
11、此外，在第一方面中，控制部可以包括脈沖神經(jīng)網(wǎng)絡(luò)，該脈沖神經(jīng)網(wǎng)絡(luò)基于事件的輸入來控制計(jì)數(shù)器閾值。這帶來了可以異步地控制計(jì)數(shù)器閾值的效果。
12、此外，在第一方面中，所述脈沖神經(jīng)網(wǎng)絡(luò)可包括：多個(gè)第一尖峰神經(jīng)元，每個(gè)第一尖峰神經(jīng)元接收所述事件的輸入并基于所述事件的輸入速率來發(fā)射；以及第二尖峰神經(jīng)元，所述多個(gè)第一尖峰神經(jīng)元的發(fā)射被分別輸入到所述第二尖峰神經(jīng)元，并且所述第二尖峰神經(jīng)元基于所述第一尖峰神經(jīng)元的發(fā)射的輸入速率來發(fā)射。這帶來事件的空間方向上的輸入速率和事件的時(shí)間方向上的輸入速率能夠被檢測(cè)到的效果。
13、此外，在第一方面，脈沖神經(jīng)網(wǎng)絡(luò)可以能夠檢測(cè)事件的空間方向上的輸入速率和事件的時(shí)間方向上的輸入速率。這帶來了可以異步地控制事件速率同時(shí)相對(duì)于光量的時(shí)間變化和空間變化穩(wěn)定計(jì)數(shù)器閾值的效果。
14、此外，在第一方面中，所述第一尖峰神經(jīng)元中的每個(gè)第一尖峰神經(jīng)元可以包括：高速率檢測(cè)第一尖峰神經(jīng)元，基于所述事件的輸入速率的增加而發(fā)射；以及低速率檢測(cè)第一尖峰神經(jīng)元，基于事件的輸入速率的降低來發(fā)射，并且第二尖峰神經(jīng)元可以包括：高速率檢測(cè)第二尖峰神經(jīng)元，被連接以使得神經(jīng)元膜電位基于來自高速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而上升，并且神經(jīng)元膜電位基于來自低速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而下降；以及第二低速率檢測(cè)尖峰神經(jīng)元，連接成使得神經(jīng)元膜電位基于來自所述高速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而下降，并且神經(jīng)元膜電位基于來自所述低速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而上升。這帶來如下效果：在使得能夠異步地檢測(cè)事件速率的同時(shí)，根據(jù)低光量和高光量將計(jì)數(shù)器閾值更新為向上/向下。
15、此外，在第一方面，脈沖神經(jīng)網(wǎng)絡(luò)可以能夠在多個(gè)級(jí)上控制計(jì)數(shù)器閾值。這帶來根據(jù)光量微調(diào)計(jì)數(shù)器閾值的效果。
16、此外，在第一方面，脈沖神經(jīng)網(wǎng)絡(luò)可以能夠以恒定速率控制計(jì)數(shù)器閾值。這帶來根據(jù)光量微調(diào)計(jì)數(shù)器閾值的效果。
17、此外，在第一方面中，控制部可基于事件的輸出速率控制光接收部的負(fù)電源電壓。由此，產(chǎn)生根據(jù)光接收部的受光量來調(diào)整光接收部的靈敏度的效果。
18、此外，在第一方面中，還可以包括垂直仲裁器，其基于每行的事件的檢測(cè)結(jié)果仲裁一行中的事件的輸出。這帶來僅從發(fā)生事件的行輸出事件的效果。
19、此外，在第一方面中，還可包括水平仲裁器，該水平仲裁器基于每列的事件的檢測(cè)結(jié)果來對(duì)列中的事件的輸出進(jìn)行仲裁。這帶來僅從發(fā)生事件的列輸出事件的效果。
20、此外，第二方面是一種控制裝置，包括控制部，控制部接收基于光子的入射輸出的脈沖的計(jì)數(shù)值和計(jì)數(shù)器閾值之間的比較結(jié)果作為事件的輸入，并且基于事件的輸出速率控制計(jì)數(shù)器閾值。這帶來這樣的效果：在根據(jù)光量改變壓縮率的同時(shí)輸出壓縮脈沖的輸出速率的事件。
21、此外，在第二方面，控制部可以包括脈沖神經(jīng)網(wǎng)絡(luò)，該脈沖神經(jīng)網(wǎng)絡(luò)基于事件的輸入來控制計(jì)數(shù)器閾值。這帶來了可以異步地控制計(jì)數(shù)器閾值的效果。
22、此外，第三方面是脈沖神經(jīng)網(wǎng)絡(luò)，包括：多個(gè)第一尖峰神經(jīng)元，每個(gè)第一尖峰神經(jīng)元接收基于光子在彼此不同的空間位置處的入射而生成的脈沖的輸入，并且基于該脈沖的輸入速率來發(fā)射；以及第二尖峰神經(jīng)元，多個(gè)第一尖峰神經(jīng)元的發(fā)射被分別輸入到第二尖峰神經(jīng)元，并且第二尖峰神經(jīng)元基于第一尖峰神經(jīng)元的發(fā)射的輸入速率來發(fā)射。這帶來了可以異步地檢測(cè)事件的空間方向上的輸入速率和事件的時(shí)間方向上的輸入速率的效果。
23、此外，在第三方面中，可檢測(cè)脈沖的空間方向上的輸入速率和脈沖的時(shí)間方向上的輸入速率。這帶來了可以異步地檢測(cè)事件率同時(shí)相對(duì)于光量的時(shí)間變化和空間變化穩(wěn)定計(jì)數(shù)器閾值的效果。
24、此外，在第三方面，第一尖峰神經(jīng)元中的每一個(gè)可以包括：高速率檢測(cè)第一尖峰神經(jīng)元，基于脈沖的輸入速率的增加而發(fā)射；以及低速率檢測(cè)第一尖峰神經(jīng)元，基于脈沖的輸入速率的減小而發(fā)射，并且第二尖峰神經(jīng)元可以包括：高速率檢測(cè)第二尖峰神經(jīng)元，被連接以使得神經(jīng)元膜電位基于來自高速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而上升，并且神經(jīng)元膜電位基于來自低速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而下降；以及第二低速率檢測(cè)尖峰神經(jīng)元，連接成使得神經(jīng)元膜電位基于來自高速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而下降，并且神經(jīng)元膜電位基于來自低速率檢測(cè)第一尖峰神經(jīng)元的發(fā)射的輸入而上升。這帶來如下效果：在使得能夠異步地檢測(cè)事件速率的同時(shí)，根據(jù)低光量和高光量將計(jì)數(shù)器閾值更新為向上/向下。
1.一種成像裝置，包括：
2.根據(jù)權(quán)利要求1所述的成像裝置，其中，當(dāng)所述計(jì)數(shù)值超過所述計(jì)數(shù)器閾值時(shí)，所述比較器輸出所述事件。
3.根據(jù)權(quán)利要求1所述的成像裝置，其中，
4.根據(jù)權(quán)利要求1所述的成像裝置，其中，
5.根據(jù)權(quán)利要求1所述的成像裝置，其中，
6.根據(jù)權(quán)利要求1所述的成像裝置，還包括
7.根據(jù)權(quán)利要求6所述的成像裝置，其中，
8.根據(jù)權(quán)利要求7所述的成像裝置，其中，
9.根據(jù)權(quán)利要求7所述的成像裝置，其中，
10.根據(jù)權(quán)利要求8所述的成像裝置，其中，
11.根據(jù)權(quán)利要求7所述的成像裝置，其中，
12.根據(jù)權(quán)利要求7所述的成像裝置，其中，
13.根據(jù)權(quán)利要求6所述的成像裝置，其中，
14.根據(jù)權(quán)利要求1所述的成像裝置，還包括
15.根據(jù)權(quán)利要求1所述的成像裝置，還包括
16.一種控制裝置，包括：
17.根據(jù)權(quán)利要求16所述的控制裝置，其中，
18.一種脈沖神經(jīng)網(wǎng)絡(luò)，包括：
19.根據(jù)權(quán)利要求18所述的脈沖神經(jīng)網(wǎng)絡(luò)，其中，
20.根據(jù)權(quán)利要求18所述的脈沖神經(jīng)網(wǎng)絡(luò)，其中，