Android端末に表示されているWebコンテンツをGoogle Chromeの開発者ツールでデバッグする方法

数ヶ月に一回くらい必要になるけどその度にやり方を忘れるので書く

NOTE: このエントリはHow to inspect web contents shown on Android devices with Google Chrome(en)を和訳したものです

試行環境

あらかじめやっておくこと

手順

  1. USBケーブルでAndroid端末をPCに接続する
  2. Android端末に「USBデバッグ接続」の通知が表示されることを確認する
  3. PCのブラウザでchrome://inspect/#devicesを開く

スクリーンショット

f:id:wifeofvillon:20190204143704p:plain
chrome://inspect/#devices

f:id:wifeofvillon:20190204143657p:plain
inspectをクリックして表示されるインスペクタ

f:id:wifeofvillon:20190204143645p:plainf:id:wifeofvillon:20190204143639p:plain
PC上での編集内容がAndroidにも反映される

参考

Vue.js入門 基礎から実践アプリケーション開発まで

Vue.js入門 基礎から実践アプリケーション開発まで

TestRailに既存のテストケースをインポートするときのファイル仕様(CSV,XML)

TestRailに既存のテストケースをインポートするときのファイル仕様についてのメモ。なおテスト仕様書はGoogleスプレッドシートExcelに記載してあるものとする。

公式サイトおよびドキュメント

tl;dr

テスト管理ツールを使ってみたかったのでTestRailを1ヶ月間試してみることにした。ツール選択時の参考にした記事は以下。

とりあえず既存のテスト仕様書(約200ケース)をインポートしていつもより多めに(テストを)回してみようとしたらインポート用のファイルの作成に2〜3時間かかった。正直ド●ゴンクエストビ●ダーズ2で手が滑って山の上から溶岩を流して山ひとつと結構な面積の海が蒸発させてそのあと6時間かけて整地したときの気分に近いものがあった。

前提

やりたいこと

f:id:wifeofvillon:20190124120351p:plain
画像1. インポートするテスト仕様書(部分)

f:id:wifeofvillon:20190124120456p:plain
画像2. テストケースのインポートが完了したTestRailの画面

Googleスプレッドシートで作成された画像1のような構造のテスト仕様書を画像2のように階層化されたテストケースとしてインポートする。

インポート元となるテスト仕様書の構造

テスト仕様書(画像1)は部分抜粋なのでわかりにくいが、このテスト仕様書はリリースver.で確認するテストケースと、デバッグver.で確認するテストケースが両方記載されている。そのためviewflow / phaseの上にもうひとつセクション階層がある。

テスト仕様書の各テストケースが属するセクション階層は以下のようになる。

  • UI/UX Tests with Production build > Onboarding
  • UI/UX Tests with Production build > Onboarding > Installation

CSVファイルでインポートする場合

CSVファイルを使ったインポートは簡単だがサブセクションが多いテスト仕様書には向いていないっぽい。

f:id:wifeofvillon:20190124122522p:plain
画像3. インポート用に作成したCSVファイル(部分)

f:id:wifeofvillon:20190124122914p:plain
画像4. CSVインポート時に表示されるダイアログ

f:id:wifeofvillon:20190124123124p:plain
画像5. CSVインポート時に指定可能な項目

CSVファイルをインポートするとき、例えば画像3CSVファイルであればTitleSection DepthSection Hierarchyをそのまま指定したいが(画像4)、TestRailのCSVインポート機能はSectionまでしかサポートしていない(画像5)。

もちろん同じテストケースをTestRailに手動登録してからCSVをエクスポートしてみると、セクション階層に関するいずれの項目も出力されている。

なので次の画像6のようにサブセクションを持たないテスト仕様書をインポートするならそれほどファイル整形に労力はかからないはず。

f:id:wifeofvillon:20190124125344p:plain
画像6. サブセクションを持たないテスト仕様書(例)

XMLファイルでインポートする場合

どうしてもサブセクションを維持したい場合XMLでインポートすることになる。TestRailのインポート/エクスポートXML仕様は公式ドキュメントに記載されているため詳細はそちらを参照されたい。

以下は実際にインポートに用いたXMLファイルの一部の抜粋。

<section>
    <name>UI/UX Tests with Production build</name>
    <description>To check UI/UX with Production build by tester hands</description>
    <sections>
        <section>
            <name>Onboarding</name>
            <cases>
                <case>
                    <title>app name on the toast is correct</title>
                </case>
            </cases>
            <sections>
                <section>
                    <name>Installation</name>
                    <cases>
                        <case>
                            <title>can open &quot;License&quot; view</title>
                        </case>
                        <case>
                            <title>can open &quot;Privacy Pollicy&quot; view</title>
                        </case>
                    </cases>
                </section>
            </sections>
        </section>
        ...
    </sections>
    ...
</section>

今回はSection Depthの異なるテストケースが混在していることがややこしくなる原因だった気がする。

今回はこのネストしまくったファイルをGASを使わずにSpreadcheet関数のみで生成するのはちょっとしんどいな〜と思ったのでサブセクションを全て手動登録してからXMLをエクスポート→テストケースを追記して再度インポートという手段を取った。

まとめ

サブセクションがないテスト仕様書はCSVでどーんとインポートすれば良さそう。大項目〜小項目までサブセクションで再現したい場合はXMLを生成してインポートしたら良さそう。

もちろんどちらの方法でもPriorityEstimateStepsを含むカスタムフィールドも追加できるのでついでに追加するといいかもしれない。

ソフトウェアテスト教科書 JSTQB Foundation 第3版

ソフトウェアテスト教科書 JSTQB Foundation 第3版

  • 作者: 大西建児,勝亦匡秀,佐々木方規,鈴木三紀夫,中野直樹,町田欣史,湯本剛,吉澤智美
  • 出版社/メーカー: 翔泳社
  • 発売日: 2011/11/12
  • メディア: 単行本(ソフトカバー)
  • 購入: 5人 クリック: 85回
  • この商品を含むブログ (12件) を見る

【この1冊でよくわかる】ソフトウェアテストの教科書―品質を決定づけるテスト工程の基本と実践

【この1冊でよくわかる】ソフトウェアテストの教科書―品質を決定づけるテスト工程の基本と実践

AndroidアプリQAテスターのおしごと(2018年)

今週(1月23日)でDrivemode Inc.の東京オフィスで働き始めてちょうど1年になるので、現状の整理として現在やっている業務と今後やっていきたいことについて書きます。

tl;dr

今の仕事をするようになってから「QAテスターの仕事とはなんぞや」と読んだり考えたりしたんですけど、とりあえず「QAエンジニア」や「テストエンジニア」「テスター」の業務範囲や待遇は会社やチームによって全く違うということを実感しました。

例えばテストコードを書いてCI/CD環境まで構築する開発者寄りの人から、ひたすらプロダクトを触り続けてバグを探す作業をする人もいるけど、「QAエンジニア」というときには前者、「テスター」というときには後者をイメージされることが多い気がします。

現在の職場ではテスト自動化を担当しているエンジニアは他にいて、私自身は手動のブラックボックステストを担当しているので後者に近いです。

f:id:wifeofvillon:20181202102526j:plain

上の画像は社内LTをしようとして作るだけ作ったスライドからの引用で、元々今のポジションの求人票の募集要件は

  • Androidアプリの動作確認担当者
  • 基本的なPC作業ができること
  • 英語でドキュメントを読んだり不具合を報告したりできること
  • 運転免許を持ってるとなおよし
  • ソフトウェアテストの経験があるとなおよし

という感じでしたが、結果的にこれまでのソフトウェア開発・HTMLマークアップの経験を生かして仕事をさせてもらっているのでとてもありがたいと思っています1

やっている業務

テスターっぽい業務

メインプロダクトの回帰テスト

週に1度のペースでテスト仕様書に沿って回帰テストをしています。ほとんど全部の画面・機能の正常系を網羅するように項目を組んでできるだけ色々なOSバージョンやデバイスを使うようにしています。

社内ではBasic Testと呼ばれているけどソフトウェアテスト的に正式な呼称はちょっとわからないですね……

最初は開発者が元々使っていたテスト仕様書をシェアしてもらって作業していましたが、秋に大きな仕様変更があったときに作業しやすいように書き直しました。

バグ修正や新機能の動作確認

バグ修正や新機能の追加があったときにはmasterにmergeする前に手で動作を確認しています。

社内ではQA-Testingと呼ばれているけどソフトウェアテスト的に(略

新しいプロダクトや大規模な仕様変更に伴うテスト仕様書の作成・更新

新しいプロダクトや大規模な仕様変更のリリース前は(Basic Testで使っているような)テスト仕様書がないため、要件書を元に動作確認をしながらテスト仕様書を書いています。要件書上では詰められていない細かい箇所についてはmasterの挙動が正しいのかどうかPOや開発者に確認しながら作業しています。

いわゆる探索的テストにあたるものだと思うんですけど(略

QA-Testingもそうですがテスターと一部の開発者しか知らない実装や挙動が見えてきてからは同時にドキュメントも書くようになりました。

プロダクト保守用ドキュメントの作成

先に書いたようにチーム内で「あの画面どうやって出すんだっけ」「どういう経緯でこの機能こうなってるんだっけ」みたいなことが最初の半年くらいでも結構あって、これまではTrelloやSlackのアーカイブを追ってなんとかしていたのを、GitHub Wikiを使ってドキュメントに残していくようにしています。

参考: Pixelaを使ってGitHub Wikiの芝を生やした - びよーんのつま。

業務全体を通していえることですが「ソースを読めばわかることでも、ブラックボックステストの前提を崩したくないのでできるだけソースを読みたくない」というお願いはかなり最初の方に話しました。

参考: 【QA】QAとして開発チームにお願いした4つのこと - びよーんのつま。

英語以外の言語での動作確認

メインプロダクトは英語を元にその他20弱の言語に翻訳されているので、月1くらいで日本語以外のRTL言語2や非ラテン文字言語3での動作確認をしています。

参考: 英語中心多言語対応アプリのテストにおける言語間差異に関するハック・Tips集 - びよーんのつま。

また、翻訳ファイルをインポートしたときに差分に不要なエスケープや文字化けが含まれないかチェックしています。

FAQの内容チェック

プライバシーポリシーや利用規約はPOや開発者が確認・更新しているので、後回しになりがちなFAQの内容のチェックと修正を担当することがあります。

テスト用ツールの作成

テストを楽にするための主にshellスクリプトを書くことがありますが多分中小SIerにいたときよりshellを書いてる気がする。

雑用っぽい業務

チーム内ドキュメントの作成

バイスの管理用シートや手順書を作成して社内向けのGoogle Siteにまとめています。これもSlackやGoogle Drive内を探し回る必要がなくなったので続けていきたいです。

その他

Drive Day

数ヶ月に1回車で遠出して社内でバグバッシュ大会をする。遠足みたいで楽しい。

www.instagram.com

やっていきたいこと

他の会社のQAチームの人と仲良くなる

例えばAndroidアプリを開発している人同士、Ruby on Railsを使って開発している人同士の知り合いやすさに比べて、QAチーム同士が会社の規模関係なく知り合って情報交換する場は探しにくいと感じたので、発信することで引き寄せの法則が発動してくれないかなと思っています。

参考: Android Test Night中考えたり呟いていた内容の補足 #android_test_night - びよーんのつま。

JSTQB Foundation Levelを受ける

上で書いたこととも関係あるんですけど、今まで体系的にソフトウェアテストについて勉強したことがないのでしばしば「ソフトウェアテスト的に何ていうのかわからない」「日本語で何ていうのかわからんから英語に訳せない」という状態になるので、他社の人とも話せるようにちゃんと用語を知りたいという気持ちがあります。

jstqb.jp

英語の雑談力をつける

英語の雑談がとてもつらい。つらいというのは「やりたくない」ではなくて雑談ってめちゃくちゃ難易度高くないですかということです。喋る力は雑談しないとつかないと思うので聴く力とか語彙力を高めて戦っていきたい……

体力をつける

週4時短勤務でも休日は病院行脚してたり突然寝込んだりするので体力をつけたいです。生きたい……

ソフトウェアテスト教科書 JSTQB Foundation 第3版

ソフトウェアテスト教科書 JSTQB Foundation 第3版


  1. 仕事が増えて業務内容が複雑になった分時給も上げてもらいました

  2. アラビア語ヘブライ語など

  3. ロシア語やタイ語、韓国語など

MacでGoogle Chromeが繰り返しクラッシュするので力技で解決した

tl;dr

MacGoogle Chromeが起動してすぐクラッシュするのを繰り返していたので、Chromeのアプリケーション設定をTerminalで削除→再ログイン・同期することで解決した。

f:id:wifeofvillon:20181227130926p:plain:w120

事象

MacChromeを起動するとすぐクラッシュし、エラーの詳細の冒頭は以下のようになっていた。

Process:               Google Chrome [446]
Path:                  /Applications/Google Chrome.app/Contents/MacOS/Google Chrome
Identifier:            com.google.Chrome
Version:               71.0.3578.98 (3578.98)
Code Type:             X86-64 (Native)
Parent Process:        ??? [1]
Responsible:           Google Chrome [446]
User ID:               501

Date/Time:             2018-12-27 12:27:49.258 +0900
OS Version:            Mac OS X 10.14.2 (18C54)
Report Version:        12
Anonymous UUID:        ■■■■■■■■■■■■■■■■■


Time Awake Since Boot: 180 seconds

System Integrity Protection: enabled

Crashed Thread:        46  Chrome_SyncThread

Exception Type:        EXC_BREAKPOINT (SIGTRAP)
Exception Codes:       0x0000000000000002, 0x0000000000000000

調査

Safariが無事だったのでChrome_SyncThreadで検索したところ、Chromeにログインしているアカウントの同期処理で問題が発生しているっぽかった。

「Google Chrome が予期しない理由で終了しました。」が表示され、ブラウザが利用できない - Google プロダクト フォーラム

実際に行った対処

Chromeにログインしているアカウントは全てオンライン同期済みである。(ちょっと古くて不安だったけど)この記事を参考にGoogle Chromeのアプリケーション設定ファイルをTerminalから初期化することにした。

zakihaya.hatenablog.com

以下コマンド

$ rm -r ~/Library/Application\ Support/Google/Chrome
$ rm ~/Library/Preferences/com.google.Chrome.plist

あとは普通にChromeを起動してログインし直すと元に戻った。

余談

rmコマンドを打つのが怖かったので気休めとしてplistだけバックアップをとった。セーフモードも試したけどあんまり意味がなかった。

英語中心多言語対応アプリのテストにおける言語間差異に関するハック・Tips集

これはソフトウェアテストアドベントカレンダー #220日目の記事です。

qiita.com

目次

TL;DR

英語を中心に多言語対応しているアプリをテストしていて使うようになった、主に言語間差異に関するハック・Tips集

前提

自己紹介

id:wifeofvillonです。Twitterその他もだいたい同じユーザー名です。

Drivemode Inc.という米スタートアップ企業の東京オフィスで、今年から週4のQAスタッフとして働いています。オフィスの1/3、社内の半分くらいが非日本語話者で、社内公用語は英語です。

現在のチームは自動テストを含んだCI環境が整っている(できるだけ整えるようにしている)ので

  • メインプロダクトの正常系回帰テスト(手動)
  • 追加機能・バグ修正箇所の動作確認(手動)
  • 新規プロジェクトやデザイン変更時のUI/UXレビュー
  • プロトタイプアプリのフィードバック

などを主業務として、開発・テスト用ドキュメントの作成・更新や手動検証環境の整理をしています。

BtoB/C系開発者→BtoC系HTMLコーダー→現職(QA)という経歴であること、これまでQAや検証担当者がいるチームに参加したことがないことから

  • よその会社のチームでは機器管理とかテスト項目管理とかテスト実行結果評価とかテストチームの作業範囲の認識合わせとかどうしてるんだろう
  • こういう👆話をしているコミュニティってどこかにはあるんだろうけど、実際どこにあるんだろう1

と思っていたので今回アドベントカレンダーに参加しました。何卒ご指導ご鞭撻のほどよろしくお願いします。

関わっているプロダクトについて

今働いているのは米国の企業です。メインプロダクトは運転中のドライバーをサポートするアプリですが、米国を中心に世界中のあちこちの大地をユーザーと共に走っています。そのため英語、特に米国内での機能実装を最優先とし、アクティブユーザーの比較的少ない日本語の優先度は低めになっています。

今回は英語メインの多言語対応アプリのテストをしたときに体験した、日本向けのサービス/ソフトウェア開発ではあまり意識していなかったテスト項目/Tips/ハックについてラフに書きます。

合成音声/音声入力に関するハック・Tips

ここからは特に注記がない場合、便宜上「日本語を母語とする日本語話者」を「日本人」、「日本語以外を母語とする英語話者」を「外国人」と呼称します。

TTSの英語が聞き取れないとき

メインプロダクトはTTS(text to speech)のウェイトがめちゃくちゃ大きく、ほぼ全ての画面で音声を確認する必要があります。

私の英語力はとても低いので、短い文ならまだしも2文以上の文章になってくると聞き取るのがかなりつらくなってきます。
現在システムがすごく長い文章を喋ることはほとんどないのですが、聞き慣れていないある程度長さのある自然な文字列を聞いて確認するテスト(例: メッセージ内に含まれるemojiを読み上げる)でちゃんと単語を聞き取りたいとき、私の場合は音声合成エンジンをEnglish(United States)からEnglish(United Kingdom)に変更すると単語が聞き取りやすくなります2

聞き取りにくい単語

私だけかもしれないんですけど、GoogleAndroidバイスPixelがTTS(EN-US)だと「ピッセル」に聞こえるしPixel XLのXLも「エッセ」に聞こえるのでもうTTS関係ないんですけど「外国人メンバーからXLを借りたつもりでいたら普通のPixelだった」みたいなことがあって……大変恥ずかしい思いを……3

TTSエンジンのない言語

TTSを多用するアプリでTTSエンジンがないときの挙動を確認したいときは言語設定をヘブライ語にするとほぼ確実にTTSエンジンが実装されていません。

ただ、ヘブライ語はRTL言語(後述)かつヘブライ文字なので設定を戻すのにめちゃくちゃ苦労するので気をつけてください。

自分の英語を聞き取ってもらえないとき

メインプロダクトは音声入力も多用します。2018年師走、スマートスピーカー関連などでVUIの実装・テストをしていてA……とかG……の「すみません、聞き取れませんでした」にストレスを溜めている人も多いと思います。

個人差はあると思いますが日本人が発音しにくい単語はわりとあるなと思ってて、私は「previous」「launch」がとても苦手です4

ハックとしてよくやるのは

  • 文章として成立させる(例: replyreply to message)
  • 合成音声を使う

の2通りで、後者についてはMacならターミナルで以下のように入力5すればいい感じに発音してくれます。他のOSでもいろいろやりようはあるっぽい6

$ say -v Alex "previous"

Webでも無料の読み上げサービスがあるのでいろいろ(コンプライアンスに反しない程度で)試してみてください。

英語圏の固有名詞を聞き取ってもらえないとき

昔から香港とか台湾の人がルーシーとかジェーンみたいな英語名名乗るの何でだろう、おしゃれだな〜と思ってたんですけどあれめちゃくちゃ実用的だったんだな〜と実感しました。
というのはいかにも日本語っぽい固有名詞を英語で入力しようとしても失敗することが多いからです7

これを英語でやろうとするとsayコマンドをもってしても失敗しがちなので

  • アドレス帳の登録名を英語っぽい名前にする
  • (和製)英語を使ってる地名・店名を使う
  • 汎用的な単語で表せる場所にする(例: museum、park)

みたいなハックをしています。

私の職場でのニックネームは「Yukkie」なんですけどこれもめちゃくちゃ音声入力しづらいので、自分の電話番号は「Jerry」みたいに英語っぽい名前で登録しています。あと試験端末の一部に宇宙飛行士の名前+アメリカ/イギリスの空母・戦艦の名前をつけています。

固有地名では都内だと「東京スカイツリー」「東京ビッグサイト」みたいな東京+英語の文字列は入力しやすいです。
あと世界中どこにでもありそうなチェーン店(例: スターバックスマクドナルド)と「皇居(Imperial Palace)」はちょーつよい。おすすめ。
汎用かつ比較的長い文字列で他に似たような施設が少ないものの代表で「神代植物公園(Jindai botanical garden)」もよく使います。

音声入力に成功していることを確かめる場合はこれで十分で、もちろん、音声解析エンジンそのものや検索APIそれ自体のテストをする場合はちゃんと日本語っぽい文字列を使った方がいいでしょう。

非アルファベット言語に関するハック・Tips

今世界で多く使われている文字ってすごくざっくり言うと漢字みたいな表音文字表語文字があって、前者の中にアブジャド(アラビア文字ヘブライ文字はこれ)、アルファベット(キリル文字ギリシャ文字もこれ)、アブギダ(タイ語はこれ)、あとハングル文字みたいに分けられます。

あと日本語や中国語は縦書きのとき右から書きますが、アラビア語ヘブライ語は横書きでも右から左に書くRTL言語(Right-to-Left)なので標準UIの左右(TRUE/FALSEのボタン配置など)が逆になります。

文字溢れを起こしやすい言語

文字溢れによるレイアウト崩れが起こっていないかの確認はUIテストで避けては通れないものですが、同じ意味をさす言葉であっても日本語中国語では数文字なのに、別の表音文字言語ではめちゃくちゃ長い文字列になることがあります。
各言語をちゃんと学んでいる・意味がわかっている訳ではないので体感でしかないのですが、ロシア語・フランス語・スペイン語は英語に比べて文字列が長くなりレイアウト崩れを起こす印象があります。

RTL言語のレイアウト崩れ

上でRTL言語について触れましたが、システム言語設定がRTL言語になっているとAndroidの標準UIはLTR言語とは左右逆になります。それに合わせてレイアウトを直していく必要がある8ので、対応している場合テストケースに含めておいた方がいいと思います。

おわりに

本当は「TZを変える必要があるテスト」とか「Xperiaでのテストはそんなに重要じゃない代わりに絶対にGalaxyでテストしなきゃいけない」みたいな話題も書きたかったのですが長くなったのでまた機会があれば。

それでは皆さま良いお年を。

実践 Appium

実践 Appium


  1. Androidアプリ開発界隈にいると手動テストに関する話題をあんまり聞かない(テスト自動化はよく聞く)気がする

  2. 容認発音の方がそれぞれの単語が聞き取りやすい気がする。意味がわかるかどうかは置いておいてCNNとBBCを聴き比べてみるといいかもしれません

  3. そういえばNexus 6でもそういうことがあった気がする……

  4. 知り合いのエンジニアは「what」とか「when」みたいなWHから始まる単語が駄目らしいので本当個人差

  5. Macのsayコマンドの使い方 - Qiita

  6. macOS, Ubuntu, Windowsでの日本語テキスト読み上げ - Qiita

  7. 私が日本人だからかもしれないし、そもそも音声解析エンジンが日本語っぽい単語を解析するに至ってないのかもしれない

  8. C93 Android モダンプログラミングに RTL 対応の章を書きました - Infinito Nirone 7

Android Test Night中考えたり呟いていた内容の補足 #android_test_night

Android Test Night #5 - Androidテスト全書の回の聴講枠に当選したので参加してきました。

peaks.cc

会の間考えたことにハッシュタグをつけて流していて、いくつかリアクションがあったものがあったので、今回はその補足をする記事です。
前回のこの↓記事同様エモーショナル強めの内容になってしまうのですが、テスト(あるいはチーム開発)どうしていくよ?という話題でもあるのでこちらのブログで書きます。

wifeofvillon.hatenablog.com

前提

  • Android派のAndroid/iOSアプリテスター
  • 週4勤務(10:30-18:00)のアルバイト
  • 過去に業務系/Web/Androidアプリの開発とWeb/Androidアプリデザインの業務経験あり
  • 自動テストやCI/CD環境は開発者がやってくれます

本題

QA側から「やるやら」を宣言しておく話

前提に書いた通り今の職場にはバイトとして参加しているのですが、スキルセット的に本来開発者がすべき作業までやれてしまうことがあります。

f:id:wifeofvillon:20181202102526j:plain
社内向けに作ったスライドより

スタートアップで人員も少ないのでそれ自体はいいことだと思うのですが、

  • ブラックボックステストはパッケージングされたアプリですべきだと思う1
  • コードを読んでしまうと2開発者に忖度してしまう
  • 作業範囲が広がると体力がもたない3

などの理由から「ここまではやる」「ここからはよっぽどの非常時ならやる4」「これは絶対にやらない」をなぜそうしたい(したくない)のかも伝えた上で何卒よろしくと開発メンバーにお願い5しています。
各社の開発体制やQAの権限・待遇・スキルにもよるのですが、現在のプロジェクトでは今のところ開発メンバーからの納得も得られてい(ると思ってい)ます。

ドキュメント書くために開発が遅れるのは嫌だという話

「QAがテストを書くことはないのか」という話題が出た時に呟いた内容です。QAがテストを書いて効果が上がるかは、繰り返しになりますが、開発体制とQAの権限・待遇・スキルにもよると思います。
そして開発体制次第では開発者からQAに仕様を伝えるのにめちゃくちゃコストがかかることがありうるとその日のちょうどこの日の昼間に思ったので開発者に伝えていました。

例えばユーザー登録のフローを画面ごとに分けて開発している場合、1画面できる度にこの画面はフローの中のこの部分でこれこれこういう動作をするからこれとこれを確認してね……というようなコメントをカードに書いてもらっていたら、開発者がコメント=ドキュメントを書く時間がトータルですごく長くなる6し、フローを細切れにした動作確認はそれこそ手動ブラックボックステストに不向きだと感じるので、この場合ならユーザー登録のフロー全部できたから、デザインがまだなのでそれ以外の動作を確認してね……くらいの大きさになってからmentionしてほしいと伝えています。

ということでQAがテストを書く話に戻すと、QAチームの中で例えばAppiumを使って正常系UIテストの一部を簡略化するのはスキルと待遇によってはアリだと思うんですけど、仕様が変わり続けている状態でかつ仕様を決める場にQAがいない場合、かえって効率が悪くなる可能性があるなと思います。
今のチームでは、QAへの仕様展開が不十分で手戻りが発生するの不健康だと思うなぁと伝えたところ理解を得られたので、最近は開発者に展開するときQAチーム(ぼっち)にも展開してもらえるようになったので完全にコミュニケーションの勝利です。

他所の手動テスト事情が知りたい

今回書いたことについて「いや普通やろ」と思う人もいれば「スタートアップ&非正規雇用バイアスじゃん」と思う人もいるはずで、というか私の以前の職場やリアル知り合いにもソフトウェア検証や品質保証が主業務の人はけっこういるんですけど、手動テストのことを話す場って探しにくいというか、どう探したらいいのかわからん……しかし話を聞きたい……と数ヶ月くらい考えています。
おいしいものを食べつつ手動テストのことも話す会があったらぜひお誘いいただけると嬉しいです。

tl;dr

「は〜私開発よりQAの方が向いてる気がしてきた……テストやってる人の話が訊きたい……」と言い始めた頃に@usaganikkiさんから「君の場合外山さん @sumio_tym をフォローするといいよ」と言われて、今回も「は〜めっちゃ4章いいこと書いてあるな……」と思ってたんですけど、お話ししそびれたのでなんかこう強くなりたいなと思いました。

あとたまごサンドと唐揚げがめっちゃおいしくて貧血気味の体に染み渡りました。会場スタッフのみなさんもお疲れ様でした。

システムテスト自動化 標準ガイド CodeZine BOOKS

システムテスト自動化 標準ガイド CodeZine BOOKS

システムテスト自動化 標準ガイド (CodeZine BOOKS)

システムテスト自動化 標準ガイド (CodeZine BOOKS)

  • 作者: Mark Fewster,Dorothy Graham,テスト自動化研究会,伊藤望,玉川紘子,長谷川孝二,きょん,鈴木一裕,太田健一郎,森龍二,近江久美子,永田敦,吉村好廣,板垣真太郎,浦山さつき,井芹洋輝,松木晋祐,長田学,早川隆治
  • 出版社/メーカー: 翔泳社
  • 発売日: 2014/12/16
  • メディア: 単行本(ソフトカバー)
  • この商品を含むブログ (4件) を見る


  1. 会中もCI/CD環境込みでテストすべきっていう話がありましたがまさにそれです

  2. あるいは「何故できないかを知ってしまうと」

  3. タフな働き方ができないので今の働き方に落ち着いています

  4. リリース直前なのにWerkerのキューが溜まりすぎて処理しきれていないときに、ローカルで未mergeのPRをビルドするケースなど

  5. 納得してもらうための材料は普段から集めるよう心がけています

  6. 今のチームのメインプロダクトは全体の最新仕様を網羅しているドキュメントがなかったので私が手のすいているときに書いています See more: Pixelaを使ってGitHub Wikiの芝を生やした - びよーんのつま。

QA担当者視点で「Androidテスト全書」の特に読んで欲しいポイントをまとめる

Androidテスト全書」をとりあえずざっくりと読んだので、QA担当者視点で開発者・QA・PM問わず「ここは読んで欲しい」と思ったポイントをまとめる。

peaks.cc

目次

TL;DR

まず「Androidテスト全書」発売おめでとうございます。執筆者・関係者の皆さま本当にお疲れ様でした。

今回の記事は普段のブログ運用ルールによると「エモいことを書くブログ」に書くべき内容なのですが、Android Test Night #5 - Androidテスト全書の回の聴講席がご用意されたため、ある意味名刺代わりにこちらの技術メインのブログに書くことにしました。

testnight.connpass.com

前提

この記事は「Androidテスト全書」をもう読んだ人、あるいはこれから読もうと思っている人を読者として想定している。

書いているのは今年から都内でAndroidアプリの手動テストを主業務としている人間(元Web系開発者)である。

本の中から「この部分は開発者に再認識して欲しい」「この部分は手動テスト専門の人にもきっと役立つ」と感じた部分を取り上げ(開発者でも自動化エンジニアでもない)手動テスト担当者としての感想を加えた。

「第1章 テスト入門」

第1章ではテストを「なぜやるのか」「どうやるのか」について意識しておいた方がいい、基本的な内容が書かれている。ここに書かれている内容はAndroidに限らずiOSやWebなどあらゆるアプリケーションに通じるはず。

特に「1. 2 Androidのテストの種類と手法」では、以下のテストの内容や目的に加えて強みと弱みについても解説されている。

このセクションに書かれている内容に自身の経験を加味して図を作成してみた。

f:id:wifeofvillon:20181116105651p:plain
「1.2 Androidのテストの種類と手法」を元に筆者作成(2018/11/16 updated)

もし手動テストをやる人員が増員されたとして、その人がほとんどソフトウェアテストについての知識を持っていない場合、私はこの第1章をとりあえず読んでもらうだろう。

「第4章 UIテスト(概要編)」

第4章はUIテストの自動化についての内容だが、特に「4.1 UIテストの自動化をはじめる前に」ではプロジェクトにテスト担当者がいることを前提にした記述になっている。

例えばテスト自動化の目的を「テスト担当者の精神的負担を軽減」するとしたとき、自動化の範囲も「QAエンジニアが負担に思っているテストを重点的に自動化する」ように定まっていくとしている1

自分の経験を交えて言えば、テスト自動化の目的や範囲、なぜそう定めたかという情報はぜひ手動テスト担当者にも展開して欲しい2。「ここまでは自動化でカバーします」「じゃあここから先は目視で頑張ります」という合意がとれていると「退屈な(精神的に疲れる)テスト」に必要以上に時間を費やしたり、それによって自動テストが不得意な分野のカバーが不十分になったりすることを避けられるからだ。

全体を通して

この本は主にAndroidアプリのテスト自動化について書いているが、決して手動テストの必要性を否定していないし、(特にUIテストにおいて)手動でテストすることを前提とした書き方になっていると思う。

自動テストでカバーできる範囲はどんどん広がっているが、最終的にAndroidアプリは人間の手のひらの中のデバイスの上で動く。この本を読んでいて「自動化の対象外にする」という記述が現れたときは、そこで手動テスターが必要であるということを思い出してくれると手動テスターとしては嬉しい :bow: :pray:


  1. テスト自動化の観点で言えばこの後の自動化しない項目の決め方の方が重要かもしれない。

  2. 体制やテスト担当者のスキルによって深度を変える必要はあるだろうが、モチベーションは絶対に上がるはず。