Outline
市場調査・マーケティングリサーチ会社である株式会社日経リサーチ（以下、日経リサーチ）は2020年7月、人流計測サービス「スキア」をリリースしました。このサービスの技術開発を担っているのが、理工学部精密機械工学科の新妻 実保子教授です。人とロボットシステムの共生を目指す新妻教授が、なぜ人流計測サービスの開発に携わったのでしょうか。日経リサーチの池田達哉執行役員と新妻教授が、サービス化までの道のりを振り返ります。
In July 2020, the market and marketing research firm Nikkei Research Inc. released a human traffic measurement service called Skia. The technology for this service was developed by Prof. Mihoko Niitsuma of the Department of Precision Mechanics at Chuo University’s Faculty of Science and Engineering. One of Prof. Niitsuma’s goals is to achieve the coexistence of humans and robotic systems. So why was she involved in the development of a human traffic measurement service? Tatsuya Ikeda, an executive at Nikkei Research Inc., and Prof. Niitsuma reflect on the path it took to get here.
新妻 実保子
理工学部 精密機械工学科 教授
2007年東京大学大学院工学系研究科電気系工学専攻博士課程修了 博士（工学）。東京大学生産技術研究所博士研究員（日本学術振興会特別研究員）、中央大学理工学部精密機械工学科助教を経て2021年4月より同教授として勤務。現在は、 ロボティクスによる人の活動支援を目的とした人とロボットのコミュニケーション（犬の愛着行動のロボットへの適用、協調型電動車いすの実現）、ヒューマン・インタフェース（音高差を用いた壁面形状の提示、産業用ロボットの遠隔操作支援）等の研究課題に従事。
Mihoko Niitsuma
Professor, Faculty of Science and Engineering, Chuo University
In 2007, Completed the Doctoral Program at the Department of Electrical Engineering, Graduate School of Engineering, The University of Tokyo
After working as Postdoctoral Researcher at Institute of Industrial Science, The University of Tokyo and Assistant Professor at Department of Precision Mechanics, Faculty of Science and Engineering, Chuo University, she assumed her current position in April, 2021.
Currently, she is engaged in research projects such as human-robot communication (application of dog attachment behavior to robots, realization of cooperative electric wheelchair) and human interface (presentation of wall shape using sound height difference, remote control support for industrial robots) for the purpose of supporting human activities through robotics.
池田 達哉
株式会社日経リサーチ 執行役員
青山学院高等部卒業 京都大学理学部卒業。大学では、人工衛星のデータを解析してオーロラを研究。1985年入社後、国内外のマーケティング・リサーチに携わってきた。特にアジア新興国や中東など国際調査を長く担当。また日本経済新聞社広告局や日本経済新聞アメリカ社にも出向。2019年よりスキアの開発を進めてきた。
Tatsuya Ikeda
Executive Officer, Nikkei Research Inc.
Graduated from Aoyama Gakuin High School. Graduated from Kyoto University, Faculty of Science. At university, he studied auroras by analyzing satellite data. Since joining the company in 1985, he has been involved in domestic and international market research. In particular, he has long been in charge of international research in emerging Asian countries and the Middle East. He has also been seconded to the Advertising Bureau of Nihon Keizai Shimbun, Inc. and Nihon Keizai Shimbun America, Inc. He has been working on the development of Skia since 2019.
プライバシーを保護しながら行動を追跡できる技術を探して
Searching for technology that can track behavior and protect privacy
―― 池田さんが新妻先生と出会ったいきさつを教えて下さい。
Q: Mr. Ikeda, please tell us how you met Prof. Niitsuma.
池田執行役員（以下、敬称略）：2018年に開催された「イノベーション・ジャパン2018～大学見本市＆ビジネスマッチング～」で新妻先生の研究テーマを知ったことがきっかけです。
Mr. Ikeda executive officer (hereinafter without honorifics): I learned about Prof. Niitsuma’s research at the “Innovation Japan 2018 – University Trade Fair and Business Matching” conference.
弊社は市場調査・マーケティングリサーチの会社で、消費者にアンケートに回答いただくというかたちでさまざまなデータを集めます。ちょうどIoT（internet of things、モノのインターネット）が広がっているころで、デジタル技術を使って行動を測定することを目的に新規事業チームが立ち上がったタイミングでした。
We are a market and marketing research company, so we collect various kinds of data by having consumers respond to questionnaires. The conference took place just about when the Internet of Things (IoT) was getting popular, and we had recently launched a new team with the goal of tracking human behavior using digital technology.
人の行動を追いかけるときにまず思い浮かべるのがカメラです。ただ、カメラを使うと顔が写って個人情報保護の問題があり、さらにAIを活用するとなると初期の段階でデータを集めなければなりません。ビーコンという手段もありますが、対象者に事前に機器を渡す必要があります。社内で社員の動きを調べるときにはよいのですが、ショッピングモールなどで不特定多数の人を追いかけるには不向きです。
The first thing that comes to mind when thinking about tracking human behavior is cameras. However, cameras record people’s faces, which creates problems involving the protection of personal information. If you use artificial intelligence (AI), you need to collect data at an early stage. There is also the beacon method, but that requires handing out devices to the subjects in advance. It’s good for examining the movements of employees inside a company, but not for tracking an unspecified number of people inside a shopping mall.
いろいろ探していたときに見つけたのが、新妻先生の研究室で使っているLiDAR（ライダー: light detection and ranging、光検出と測距）という技術です。レーザー光を使って対象物までの距離を測定するもので、人の形状だけを検出するのでプライバシー侵害の恐れがありません。イノベーション・ジャパン2018では学生に説明していただき、関心をもったので新妻先生に相談することにしました。
While doing my own investigations, I came across a technology called LiDAR (light detection and ranging) that is used in Prof. Niitsuma’s laboratory. LiDAR uses lasers to measure the distance to an object, and because it’s capable of detecting only a person’s shape, there is no risk of invading their privacy. My interest was sparked when a student explained it to me at Innovation Japan 2018, so I decided to contact Prof. Niitsuma.
―― 新妻先生の研究室ではLiDARをどのように使っているのですか？
Q: Prof. Niitsuma, how do you use LiDAR in your laboratory?
新妻：我々の研究室では、人・ロボット・空間の共生を目指して研究をしています。ロボットが人を支援するとき、人がどこにいて、いつどのような支援をすればいいのかということを事前にプログラムすることはできません。そこで、さまざまな種類のセンサーを空間に配置して空間全体を観測し、空間内のイベントを把握することも必要だと考えています。ロボットを賢くするだけでなく、空間ごと賢くしましょうということで、「空間知能化」というキーワードを掲げて研究をしています。
Niitsuma: Research in our laboratory is aimed at achieving the coexistence of people, robots, and space. When a robot assists a person, you can’t pre-program where the person will be and when or what kind of help will be needed. Therefore, I think we also need to install different types of sensors that can observe the entire space and understand the events that are happening inside it. In addition to making robots smarter, a keyword we use often in our research is “spatial intelligence,” which aims to make spaces smarter.
空間知能化を実現する重要な基盤技術がLiDARを用いた観測技術です。LiDARを使うと、人や物が空間内のどこにあるかを計測できます。こうして得られた情報から観測する環境を表す「環境地図」を生成します。ロボットが環境地図を利用して、空間内の人に適切なサービスを届けるようにするのが我々の目的です。人物検出も含めた情報を取得するのが独自のアプローチだと考えています。
Observation technologies using LiDAR are important basic technologies for achieving spatial intelligence. LiDAR lets us measure where people and objects are in space. The data obtained allows us to generate an “environmental map” that reproduces the observed environment. Our goal is to enable robots to use environmental maps to get people the services they need in a space. Data acquisition that includes the detection of humans is a unique approach of ours.
The measurement device fits in the palm of your hand.
緑は人がいたことを示し、色が濃くなるほど滞在時間が長かったことを示す。
An environmental map made using LiDAR in Prof. Niitsuma’s lab. The red circles represent people and can be distinguished from walls and other objects that appear as black squares. Green indicates where people have been—the darker the color, the longer the stay.
―― 人ありきで環境地図を作るということですね。池田さんから共同研究のお話を聞いたとき、最初にどのような印象を受けましたか？
Q: This means making environmental maps based on people. What was your first impression when you discussed a joint research project with Mr. Ikeda?
新妻：空間知能化の研究を社会で応用できる機会はとても魅力的だと感じました。人を対象にする研究は、やはり研究室内でできることは限られてしまいます。人々の生活を研究室内で再現しても、どうしてもリアリティは格段に下がります。空間知能化も、研究室の中で再現できる状況でだけ観察できる技術にとどまってしまうのではないかという懸念がずっとありました。
Niitsuma: The opportunity to apply my research on spatial intelligence in society was very attractive. There are limits to what can be done in the laboratory in terms of research on human subjects. Even if you try to reproduce how people live in the lab, it will fall short of reality. I was always concerned that spatial intelligence would remain a technology that could only be observed in situations that can be reproduced in a laboratory.
研究室外で試験できること、そして工学研究者として自分たちの開発した技術が社会の中で使われることは、とても嬉しいと思いました。
I was very pleased to be able to conduct tests outside the laboratory, and that the technology I developed as an engineering researcher would be used in society.
共同研究を始めて2年弱でサービス開始へ
Service launched less than 2 years after starting the joint research project
―― 共同研究はどのようなステップで進んでいったのですか？
Q: What were the steps you took in the joint research?
池田：最初のころは、LiDARを使ってどのような場面でどのようなデータが得られるか、それを使ってサービスを使うクライアントにどのようなフィードバックができるか、ということを議論しました。美術館や展示会で使うのはどうか、という意見も出ました。2018年の夏にこうした話を始めて、その年の冬に弊社のオフィスで実験することになりました。
Ikeda: At first, we discussed what kinds of situations we could use LiDAR in, what types of data we could gather, and how we use it to provide feedback to the clients who use the service. Some people suggested using it in museums and exhibitions. We began this discussion in the summer of 2018 and decided to conduct an experiment at our offices that winter.
新妻：繁忙期と閑散期という人の数が違う期間で、人の活動の違いをちゃんと計測できるか、環境地図に情報が現れるかどうかを評価するために実験しました。その内容を、2019年の9月に開催された第37回日本ロボット学会学術講演会で発表し、日経リサーチからもプレスリリースとして発表しました。
Niitsuma: The experiment was to evaluate whether we could properly measure differences in human activity during different periods, such as busy or slow times, and whether the data would appear on an environmental map. We presented our research at the 37th annual conference of the Robotics Society of Japan in September 2019, and Nikkei Research Inc., also published a press release.
池田：弊社からリアルな場面を紹介して、一緒に研究を進めることができたのはよかったと思います。
Ikeda: It was great to be able to describe real situations and make progress in the research together.
その後、弊社とお付き合いのある小売店と建設会社でも実地試験をしました。前者はお客様の流れを知りたいとのことでした。後者は、オフィスにおける人の流れからオフィスの使われ方を客観的に評価できるということもあり、オフィス設計などに活用するという方針で環境地図の計測・評価サービスを2020年からリリースしようと考えていました。
Since then, we’ve also conducted field tests at retail stores and construction companies we have relationships with. The former wanted to understand customer traffic. For the latter, we were able to objectively evaluate the people using an office based on the traffic of people in the office. Based on this, we planned to release a service for measuring and evaluating environmental maps to be used for things like office design in 2020.
ところが新型コロナウイルス感染症が流行したため、3密を計測できるという点からも提案するようにしました。2020年6月に、LiDARを使った人流計測サービス「スキア」という名称で開始しました。
But once the COVID-19 pandemic arrived, we changed the proposal to focus on our ability to measure the 3C’s (closed spaces, crowded places, close-contact settings). In June 2020, we launched Skia, which uses LiDAR to measure human traffic.
新妻：3密になっているかどうか、人の流れをコントロールした場合に3密が生じないようになったか、そういった評価にも使えるかもしれませんね。
Niitsuma: Skia can be used to assess whether the 3C’s are present in a situation or if they can be prevented by controlling human traffic.
スピード感が出るのが企業との共同研究の特徴
One feature of joint corporate research projects is a sense of speed
―― 新妻先生が企業と共同研究を進めていった中で印象的だったことは何ですか？
Q: Prof. Niitsuma, what has impressed you about joint corporate research?
新妻：2019年から2020年にかけて、2次元LiDARから3次元LiDARに切り替えるという大きな方向転換がありました。2次元LiDARでは人の高さ方向に関する情報が取得できないため、人を点でしか認識できませんが、3次元LiDARでは人の姿が立体的にわかり、立っている・座っているも判別できます。しかし、データ量が何十倍も増えてしまうことに加えて、動かせる椅子も人と認識しまうなどの新しい課題も出てきました。
Niitsuma: We underwent a major change of direction in 2019 and 2020 by switching from 2D LiDAR to 3D LiDAR. 2D LiDAR does not yield data on people’s heights, and only recognizes people as points, whereas 3D LiDAR yields three-dimensional representations of people, which allows you to distinguish between people who are standing and those who are sitting. However, in addition to producing several dozen times more data, it also creates new challenges, such as that moving chairs are also seen as people.
3D LiDAR clearly shows a person’s shape.
池田：無理なお願いをしたのですが、3次元LiDARになると人の姿が見えるので、クライアントに提案するときにわかりやすくなります。「これはいい」と直感的に理解できるので、クライアントからの評判は高くなりました。
Ikeda: It was a difficult request, but because 3D LiDAR shows a person’s shape, it makes the proposals we make to clients much easier to understand. Our clients’ opinion of us has improved because they grasp the concept intuitively and claim, “This is great.”
新妻：研究だけでやっていたら、このスピード感が出なかったと思います。現場での実用性を考えると、2次元よりも3次元のほうがわかりやすいのは確かなので、必然的なことだったと思います。こうしたことにチャレンジできたのはありがたかったです。
Niitsuma: If I had only been conducting research, I wouldn’t have felt this sense of speed. When you think about practicality in real situations, it is definitely easier to understand three dimensions than two, so I think the switch was inevitable. I was grateful to have been able to take on this challenge.
―― 最初に出会ってから1年くらいで学会発表、翌年にはブラッシュアップしたサービス化と、共同研究が順調に進んだのですね。何か意識したことはありますか？
Q: About a year after you met, you presented at an academic conference. The following year, you upgraded the service and have made smooth progress in your joint research. Is there something you’ve been conscious of through this?
池田：週に1回ミーティングをしたり、大学が後楽園にあり弊社と距離が近かったので時々寄らせていただいたりしました。コミュニケーションはよくとれていたと思います。
Ikeda: We had meetings once a week, and because our company was close to the university in Korakuen, we sometimes just came over. I think we had good communication.
新妻：技術を作る側なので、できないことはできないとはっきり言い、どの段階まで進んだらリリースしていいかどうかの線引きは強く意識しました。
Niitsuma: As the creator of the technology, I was clear about the things I couldn’t do, and I was highly conscious of the stage I needed to reach before releasing the service.
池田：我々はビジネスでやっているので、どこかのタイミングで商品としてリリースしたいわけです。「ほぼ動作確認ができたからいけるでしょう」と私が言っても、新妻先生は「検証不足なのでまだ出せません」と。
Ikeda: We’re in business, so at some point we want to release a product. If I said, “We’re good to go once we confirm it’s mostly operational, right?” Prof. Niitsuma would say, “We can’t release yet because we haven’t done enough testing.”
新妻：ただ、単に保守的になるのではなく、企業にとって必要なタイミングで必要なものを届けることも重要なのも理解しています。スピード感はかなりあったと思います。
Niitsuma: But that wasn’t just about being conservative. I understood the importance of getting a company what it needs when it needs it. There was an incredible sense of speed.
正確な人流計測によって数字ベースで議論できるようになる
Accurate human traffic measurements enable discussions based on figures
―― LiDARを使った人流計測サービス「スキア」はどのような場面で使われていますか？
Q: In what kinds of situations do you use Skia, your LiDAR human traffic measurement service?
池田：まずは百貨店の小売店です。通り過ぎる人と、展示してある商品に関心があって足を止めている人がわかります。レイアウトを変えたときに人の流れがどう変わるのかと比較できるようになります。
Ikeda: The first was at retail shops in a department store. You can see which people pass by and which stop because they are interested in the products on display. You can also compare how the flow of people shifts when you change the layout.
フードコートやカフェでは、席の回転率がわかります。POSデータで売上や会計した人数はわかりますが、正確な利用者の数まではわかりません。コロナ禍で来店者が減っている中でどのような対策をするのか議論する際、利用者の数を把握した上で、来店者を増やすのか、テイクアウトに注力するのか、そういった議論のベースとなる数値を出せると思います。
You can also calculate turnover rates in food courts and cafés. Sales and the number of people who made purchases can be determined from POS data, but this does not tell you the exact number of users. When discussing what to do about the decline in customers due to the pandemic, knowing the number of users can provide a numerical basis for discussing whether to try to increase the number of people who come to the store, whether to focus on takeout, or other ideas.
また、公園や駅のコンコースでも3密対策のために導入されています。LiDARはカメラと違ってプライバシーが保護されているだけでなく、雨天や夜間でも計測できるのも大きなメリットです。リアルタイムで結果がわかることも高く評価されています。
The service can also be used at parks and train stations to prevent the 3C’s from arising. Unlike cameras, LiDAR not only protects privacy, but also has the major advantage of being able to take measurements even in the rain or at night. Clients really appreciate being able to see the results in real time.
―― 新妻先生から、こういう場面で使ってほしいというアイデアはありますか？
Q: Dr. Niitsuma, are there any situations where you would like the service to be used?
新妻：私は技術を作る立場なので、使う場面のアイデアはありませんが、データの出し方や計測技術に何か需要があれば、できる範囲で試してみたいと考えています。
Niitsuma: My role is to create technology, so I don’t have any ideas about where it should be used, but whenever there is a demand for data or measurement technology, I’ll do my best to meet the need.
技術的な面でやってみたいこととしては、人の活動が変わるのを自動で検出することです。例えば、百貨店で人の流れが急に変わったとか、オフィスで午前と午後で人の活動が違うとか、状態が異なる変換点のようなものがわかれば、行動を変えるきっかけを見つけることができるかもしれません。環境地図の情報はずっと蓄積されるので、何らかの特徴量を定義して、活動の変化を自動検出するしくみを考えています。
On the technical side, I want to be able to automatically detect changes in human activity. For example, if you see things like a sudden change in human traffic at a department store, people in an office acting differently in the morning and afternoon, or other turning points where conditions change, there may be an opportunity to shift behavior. Because the information on an environmental map is constantly being updated, we would like to define features that can be used to automatically detect changes in activity.
池田：あとは、従業員の満足度につながるような使い方が何かないかと考えています。効率重視ではなく、LiDARのデータを使って従業員が楽しく働き、来店者も喜んだ上で商品を買うといった、店員と来店者がよりよい関係になるようなしくみがあってもいいと思います。コミュニケーションをうながすという意味では、新妻先生の研究テーマである人・ロボット・環境の共生に通ずるものがあると思います。
Ikeda: I’d also like to find a way to use the service to improve employee satisfaction. Instead of focusing on efficiency, it would be nice to have a way to use LiDAR data to improve the relationship between workers and customers, such as by making work more enjoyable for workers and making customers happier so they buy things. In terms of facilitating communication, I think it’s possible to find something that encourages the coexistence of people, robots, and the environment, which is the theme of Prof. Niitsuma’s research.
環境地図を移動ロボットに取り込んで自身の研究につなげたい
I want to load environmental maps into mobile robots for my own research
―― 新妻先生が取り組んでいる研究の中で、今後企業と共同研究をやってみたいものには何がありますか？
Q: Prof. Niitsuma, among the research you’re presently engaged in, is there something you’d like to do as joint corporate research in the future?
新妻：LiDARによる環境地図の作成は、もともとは移動ロボットのために考えたものです。今、街中で見かけるロボットの動きはぎこちなく、実用的な速度で動作して人々と関わり合っているとは言い難いところがあります。環境地図を移動ロボットにインプットさせて、例えばロボットが施設を案内するとか、自動で消毒作業を行うとか、人々と関わるロボットを作りたいと考えています。
Niitsuma: The idea of creating environmental maps using LiDAR was originally for mobile robots. The robots we see in public move awkwardly. They don’t really move at practical speeds for interacting with people. I’d like to create robots loaded with environmental maps that can interact with people, such as by guiding them around a facility or automatically disinfecting things.
また、すぐに実用化できるレベルではないのですが、環境地図があればどこに壁があるのかわかるので、視覚障がい者が歩くのを支援することも研究しています。移動ロボットの研究を活用して、電動車いすの自動運転の研究にも取り組んでいます。
Also, even though it’s not ready for practical use, we are also researching how to help visually impaired people walk using environmental maps that know where walls are. We are also using research on mobile robots to study autonomous driving for electric wheelchairs.
―― 新妻先生の研究では、動物行動学をロボットと人のコミュニケーションに応用していると聞きました。これはどういったことでしょうか？
Q: I’ve heard that in your research, you apply findings from animal behavior to communication between robots and humans. What does this entail?
新妻：例えば、犬とは言葉を使わなくてもメッセージを受け取ることができますよね。こっちに来てほしいとか、あそこに行きたいとか。移動ロボットも同じように、言葉を使わないコミュニケーションが必要だと考えています。時折振り向いて人の様子をうかがったり、普段から身近な人にはなついたりと、犬がやっている自然な振る舞いを移動ロボットに取り入れることで、人とロボットのスムーズなコミュニケーションの実現を目指しています。そのために、ハンガリーの動物行動学者と共同研究をしています。
Niitsuma: You know how it’s possible for dogs to receive messages without using words, like come here or go there? Similarly, with mobile robots, I think we need means of communication that do not rely on words. We want to create smooth communication between humans and robots by incorporating the natural behavior of dogs into mobile robots. For example, dogs will turn around occasionally to see what people are doing or they’ll generally stay close to people they know. We are collaborating with Hungarian animal behaviorists on this.
―― 広い分野の知見を取り入れて、さまざまな応用を想定しているのですね。どのような技術がこれから出てくるのか、楽しみになりました。ありがとうございました！
Q: You really do envision incorporating knowledge from a wide range of fields into all kinds of applications. We are looking forward to seeing what kind of technology you’ll create in the future. Thank you!
Photographer：Kato Hajime Writer & Editor：島田祥輔
