
API2つが404と403で止まった日。noteの人気記事は検索ページから調べた
noteの人気記事をジャンル別に調べたくて叩いたAPIが、404と403で2つとも止まりました。
代わりに使った方法を書きます。
7月のある日、noteの記事を3本まとめて作る作業をしていました。
テーマは「中間管理職×AI」「推しロス」「電子書籍出版×AI」の3つです。
書き始める前に、それぞれのジャンルでいまどんな記事が読まれているかを見ておきたいと考えました。
この記事は、その下調べの途中で止まったところと、どう切り替えたかの記録です。
止まったのは1か所、直し方も1つに絞って書きます。
やりたかったこと
ほしかったのは、キーワードごとに人気順で並んだ記事の一覧です。
タイトルの言い回し、著者、いいねの数が分かれば十分でした。
作業はAIに任せ、AIがWebFetchでページやAPIを取りに行く形で進めました。
人がブラウザで何十ページも開いて回るより早い、という見込みです。
1つ目:トレンドのAPIは404
最初に試したのは、noteの急上昇やトレンドの記事を返すAPIです。
パスはこうです。
/api/v3/trending/notes
結果は404でした。
そこにページが無い、という返事です。
ログには404とだけ残っていて、この日はそれ以上原因を追っていません。
2つ目:検索のAPIは403
次に、検索のAPIを試しました。
/api/v3/searches
こちらは403でした。
404と違って、場所はあるけれど、取りに来たことを断られた、という返事です。
これで、APIから直接一覧を取る道は2つとも閉じました。
ここで、別のAPIのパスを探し続けるか、やり方そのものを変えるかを決める必要がありました。
直し方:人が見ている検索ページを取る
切り替えた先は、APIではなく、人がブラウザで開くnoteの検索結果ページです。
URLの形は次のとおりです。
https://note.com/search?q={キーワード}&context=note&sort=popular
{キーワード}のところに「復縁」「中間管理職」「電子書籍出版」などを入れます。
URLの見た目から読むと、qが検索語、context=noteが記事を対象にする指定、sort=popularが人気順の指定です。
ジャンルを変えるときは、この{キーワード}だけを差し替えます。
このページはSSR、つまりサーバー側で中身を組み立ててから返すページでした。
そのためWebFetchで取ると、記事の一覧が入った状態の中身が手に入りました。
ここでやっと、ジャンル別に人気記事を並べて見られるようになり、この方法をこの日のリサーチの主な手段にしました。
APIで止まってから切り替えるまでにやったことを、順番に並べると次の3つです。
トレンドAPIを試す → 404
検索APIを試す → 403
検索ページのURLにキーワードと人気順の指定を入れて取る → 取得できた
取れた中身
検索ページから見えた傾向を、ジャンルごとに書いておきます。
復縁:「ヒミツコイ」「はーとのおと」など、特定の著者が上位を占めていました。
心理学のテクニックと、逆張りのタイトルを組み合わせた記事が目立ちました。
中間管理職:「ゆーとん|中間管理職の答え合わせ」がほぼ独占する形で上位にいました。
読者に問いかける形と、職場のあるあるを言葉にする書き方が強く、いちばん多いもので595いいねでした。
電子書籍出版:このジャンルはこの日はじめて調べました。
「AIと歩んだ100日間」「AIでKindle出版を完全自動化」のように、AIを使って初心者が挑戦する話が上位にありました。
手順を解説する型の記事も139いいねあり、一定の人気がありました。
一覧が見えたことで、3本とも同じ骨組みで書けると分かりました。
共感から入り、構造や心理の裏付けを書き、つまずきやNG行動を3つ挙げ、具体的な3ステップを示し、最後に問いかけで締める流れです。
テーマを変えても、この骨組みは流用が効きました。
この日に仕上げた3本のタイトルは次のとおりです。
部下にAIが追いついてきた日、課長の仕事はどう変わるのか
推しがいなくなった夜、私が失ったのは『推し』じゃなかった
『書けないわたし』でも、AIと組めば1冊になる。
電子書籍出版という副業のはじめ方
1本目は、中間管理職のジャンルで強かった問いかけの形を、タイトルにそのまま取り入れています。
次に同じことをする人へ
同じようにnoteの人気記事をAIに調べさせるなら、私は次の順で進めます。
まず、APIより先に、検索ページのURLで1回取ってみます。
今回はAPIを2つ試して、2つとも止まりました。
人が見ているページが取れるなら、APIのパスを探す時間は要りません。
次に、取れたかどうかは中身で確かめます。
返ってきた中に、記事のタイトルや著者名が並んでいるかを見てください。
返事があったことと、一覧が入っていることは別です。
もう1つ、404と403は意味が違います。
404は場所が無い、403は断られている、という違いです。
ただ今回は、どちらが出たときも、そこで粘るより画面側に切り替えたほうが早く先へ進めました。
最後に、取れる・取れないは、この日(7月)の私の環境での結果です。
時期や使う道具で変わることがあるので、作業の流れに組み込む前に、1回だけ試してから使ってください。
次回
この日は、もう1つ止まったところがあります。
見出し画像(1280×670)を作ろうとしたら、Playwright MCPがこの環境では使えませんでした。
次回は、その代わりにEdgeの画面を出さずに動かす機能を使い、日本語入りのHTMLを画像にした手順を書きます。
続きを読みたい方は、フォローしておいてもらえると更新が届きます。
このnoteの記事の並びは「このnoteの読み方」にまとめています。
最後に1つ聞かせてください。
AIに調べものを任せて途中で止まったとき、あなたは同じやり方で粘って直しますか。
それとも、やり方ごと変えますか。
──────
毎日1本、AIと働いた作業ログを出しています。
初めての方はこちらから
https://note.com/aiworklog_jp/n/n7ac1319dff88
前回の記事
https://note.com/aiworklog_jp/n/n319da20c9d81
この記事は、筆者の作業記録をもとにAIで下書きしています。見出し画像もAIで生成しています。